기업 기술블로그의 Data Engineering 관련 글 347개
TApplicationException · UNKNOWN_METHOD Invalid method name: 'get_table' 이 글은 네이버의 Hadoop 플랫폼인 C3의 Metastore를 Apache Hive 4.2로 올리는 과정에서 Spark 잡(job)이 실패한 현상과 그 원인을 추적해, Metastore Thrift 인터페이스에서 조용히 사라졌던 RPC 하나를 복원하기까지의 과정을 다룹니다. 코드 변경 자체는 IDL 두 줄과 서버
.ktc-poster img { transition: transform .3s ease, box-shadow .3s ease; } .ktc-poster:hover img { transform: translateY(-4px); box-shadow:0 10px 22px rgba(0,154,135,0.22) !important; } .imageblock img { max-width:100% !important; height:auto !importan
머신러닝의 학습 과정에서 고품질 모델을 훈련시키려면 대규모의 고품질 데이터가 필수적이며, 이를 준비하는 과정은 보통 여러 출처의 데이터를 한곳에 모으는 작업을 동반합니다. 이 방식은 효과적이지만 의료 기관, 금융 기관, 정부 기관과 같이 데이터 프라이버시, 규제 준수, 데이터 주권에 민감한 환경에서는 조직 밖으로 반출할 수 없는 소중한 데이터를 보유하고 있는 경우가 많습니다. 연합 학습(Federated Learning, FL)은 이에 […]
AI 시대에 기업의 진짜 자산은 ‘모델’이 아니라 현장에서만 쌓이는 도메인 데이터와 도구·스킬·평가·가드레일이 결합된 하네스다. 업의 본질은 그대로이고, 경쟁력은 프로세스를 바꾸는 데이터와 실행 체계에서 나온다. The post [AI 트렌드] 모델은 사는 것, 자산은 쌓는 것 — Domain Data와 Harness appeared first on BESPIN Tech Blog.
안녕하세요! 카카오에서 유저 편의성을 높이는 데 관심이 많은 토리입니다. 카카오에는 정말 다양한 서비스와 그 안에 쌓이는 방대한 데이터가 있습니다. 이 많은 콘텐츠와 유저를 잘 이어주는 역할을 하는 것이 바로 추천이고, 그중에서도 "얼마나 이 유저에게 맞는 콘텐츠를 보여주는가"는 서비스 체류시간과 만족도에 직결되는 핵심 문제입니다. 그래서 세그먼트 단위로 동작하던 추천 로직을, 유저 개인의 히스토리를 반영하는 개인화 랭킹 모델로 교체하는 프로젝
@keyframes kttblink { 50% { opacity:0; } } .ktt-cursor { animation:kttblink 1.05s step-end infinite; } @keyframes kttlive { 0% { box-shadow:0 0 0 0 rgba(63,185,80,0.55); } 70% { box-shadow:0 0 0 6px rgba(63,185,80,0); } 100% { box-shadow:0 0 0 0 rgba
우리가 오해하고 있는 Airflow Airflow가 뭔가요? 그거? ETL하는 스케줄러 ＇Airflow가 뭔가요?＇라는 질문에 ＇워크플로우를 오케스트레이션하는 플랫폼입니다.＇라는 대답이 때때로 충분하지 않을 때가 있...
고성능 GPU 1만 장은 칩만으로 약 7MW를 소비해 소도시급 전력에 맞먹습니다. 전력밀도·발열·하중을 일반 서버실이 감당하지 못해 전용 데이터센터가 필요합니다. AI GPU는 서버·랙·상면과 전력·냉각 설비를 갖춘 ... Read More
Metric View를 신규 런칭 게임의 데이터 파이프라인에 도입하면서, 대시보드와 분석 에이전트가 같은 지표 정의를 읽게 하기 위해 데이터 구조를 어떻게 나눴는지, 그 과정에서 정한 설계 규칙과 결과를 공유합니다.
대규모 데이터 인프라 환경에서 안정적이고 빠른 데이터 입수는 하위 분석 작업과 비즈니스 의사결정의 중요한 초석이라고 생각합니다. 기존 인프라에서는 1,200여 개의 데이터 파이프라인이 Oozie XML을 통해 관리되고, 데이터 입수 도구로 Sqoop…
요약SUMMARY 이번 kt cloud 웨비나에서는 kt cloud에서 25년간 축적한 데이터센터 운영 경험을 바탕으로, AI와 BIM을 실제 현장에 적용해 AIDC 구축·운영을 혁신한 사례를 공유합니다. 안녕하세요. kt cloud 마케팅커뮤니케이션팀입니다. AI 인프라의 고집적·고도화로 데이터센터 환경이 복잡해지면서, 어떻게 보다 효율적이고 지능적으로 데이터센터를 구축하고 운영할 것인가가 중요한 과제로 떠오르고 있습니다.이러한 과제에 대한
이번 주 일본과 북미 실무 타임라인에서 같은 주제로 두 갈래 논쟁이 붙었습니다. “랭킹은 아직 유효한가, 아니면 인용은 이미 다른 게임인가.” 양쪽 다 숫자를 들고 나왔습니다. 여섯 개였습니다. 우리는 그 여섯 개의 원문을 하나씩 열어 측정 시점과 표본과 스코프를 확인했습니다.넷은 3월에서 7월 사이에 측정된 것이었고, 하나는 방법론 페이지가 존재하지 않았습니다. 이번 주에 실제로 발표된 것은 둘뿐이었습니다.… 더 보기 »이번 주 GEO 논쟁을
셀트리온제약은 케미컬의약품과 바이오의약품을 국내외 시장에 공급하는 대한민국 대표 제약기업입니다. 셀트리온제약은 의약품 위탁 생산(Contract Manufacturing Organization, CMO)을 위한 관리, 공급망, 계약 업무를 하나로 연결하는 핵심 시스템인 OMS(Order Management System)를 새롭게 구축해야 했습니다. 프로젝트 착수 시점에 개발팀이 마주한 현실은 다음 한 문장에 압축되어 있습니다. “3개월 안에 O
서론 정밀의료 시대에 바이오마커 기반 표적치료는 암 치료의 핵심 전략으로 자리 잡고 있습니다. 실제 임상에서는 유전체 분석 결과를 바탕으로 치료 방침이 결정되기 때문에, 유전체 분석 검사의 신뢰성(Reliability)과 신속한 결과 제공(Turnaround Time, TAT)은 단순한 운영 성과 지표(KPI)가 아닙니다. 이는 환자의 치료 일정과 의료진의 임상 의사결정에 직접적인 영향을 미치는 핵심 제약 조건입니다. 그 사이를 채우는 것은 시
소개 클라우드 전환을 가속화하는 조직들은 공통된 병목에 직면합니다. 바로 핵심 비즈니스를 지탱하는 레거시 시스템의 현대화(Modernization)입니다. 기업이 Oracle에서 Amazon Aurora PostgreSQL-Compatible Edition으로 마이그레이션할 때, 테이블, 인덱스, 뷰 같은 스키마 객체는 AWS Schema Conversion Tool(SCT)과 AWS DMS Schema Conversion으로 안정적으로 변환할
이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다. 이 글은 GS리테일의 전사 AI Gateway 구축 사례 1부: 인증·라우팅·계정 자동화 설계에 이어지는 두 번째 글입니다. 1부를 아직 보지 않으셨다면 먼저 읽어보시길 권해드립니다. 1부에서는 GS리테일 클라우드인프라팀이 사내 AI 도구 수요를 조직 차원에서 안전하게 받아내기 위해, 모든 AI 호출을 하나의 관문으로 모으는 전사 AI Gateway를 구축한 과정을 다뤘습니다. Clau
페이지 1 / 20 (총 347개)
