Python의 GC가 멀티프로세싱과 만나면 생기는 일 - Python과 Airflow, 그리고 관련된 문제 해결기 2편
Python의 멀티프로세싱과 Airflow의 task 동작 방식 - Python과 Airflow, 그리고 관련된 문제 해결기 1편에서는 Airflow가 task를 실행할 때 요구되는 병렬성과 격리성을 살펴보고, 이를 만족하기 위해 Airflow가 task마다 만들었다 버리는 단기 프로세스와 만들어 두고 재사용하는 장기 프로세스를 모두 fork 방식으로 생성한다는 점을 확인했습니다. fork는 생성 속도와 메모리 효율 모두에서 spawn을 크게
[데이터주권 시리즈] 네트워크 경로 통제의 중요성과 데이터센터 연관성
데이터 주권은 저장 위치뿐 아니라 데이터가 오가는 네트워크 경로까지 통제해야 완성됩니다. 저장을 역내로 묶어도 트래픽이 역외 통신망을 경유하면 이동 중 데이터가 다른 관할권에 노출됩니다. 데이터 ... Read More
GS에너지의 SageMaker Unified Studio와 Bedrock AgentCore로 구축하는 엔터프라이즈 에이전트 데이터 플랫폼
프로젝트 기반 데이터 구독과 에이전트 실행을 연결한 GS에너지 발전 계열사 통합 데이터 플랫폼 구축 사례 1. 소개 에너지 산업의 디지털 전환이 가속화되면서, 기업들은 단순한 데이터 저장과 분석을 넘어 AI가 데이터를 능동적으로 활용하는 플랫폼을 요구하고 있습니다. 에너지 기업의 운영 데이터는 발전소 설비 센서, 운전 지표, 환경 계측, 전력 거래, 시장 가격, 규제 공시처럼 성격이 서로 다른 […]
에이전트 하네스 규칙의 수명 관리
에이전트 규칙 파일이 계속 늘어나는 문제를 GC 개념으로 풀었습니다.
Hive는 잊으려 했지만, Spark는 기억하고 있었다: 사라진 get_table RPC 복원기
TApplicationException · UNKNOWN_METHOD Invalid method name: 'get_table' 이 글은 네이버의 Hadoop 플랫폼인 C3의 Metastore를 Apache Hive 4.2로 올리는 과정에서 Spark 잡(job)이 실패한 현상과 그 원인을 추적해, Metastore Thrift 인터페이스에서 조용히 사라졌던 RPC 하나를 복원하기까지의 과정을 다룹니다. 코드 변경 자체는 IDL 두 줄과 서버
[인사이트] 발전소에서 서버 랙까지, AI 시대 데이터센터 전력의 대장정
.ktc-poster img { transition: transform .3s ease, box-shadow .3s ease; } .ktc-poster:hover img { transform: translateY(-4px); box-shadow:0 10px 22px rgba(0,154,135,0.22) !important; } .imageblock img { max-width:100% !important; height:auto !importan
Amazon EKS와 NVIDIA FLARE로 구현하는 연합학습 (Federated Learning)
머신러닝의 학습 과정에서 고품질 모델을 훈련시키려면 대규모의 고품질 데이터가 필수적이며, 이를 준비하는 과정은 보통 여러 출처의 데이터를 한곳에 모으는 작업을 동반합니다. 이 방식은 효과적이지만 의료 기관, 금융 기관, 정부 기관과 같이 데이터 프라이버시, 규제 준수, 데이터 주권에 민감한 환경에서는 조직 밖으로 반출할 수 없는 소중한 데이터를 보유하고 있는 경우가 많습니다. 연합 학습(Federated Learning, FL)은 이에 […]
[AI 트렌드] 모델은 사는 것, 자산은 쌓는 것 — Domain Data와 Harness
AI 시대에 기업의 진짜 자산은 ‘모델’이 아니라 현장에서만 쌓이는 도메인 데이터와 도구·스킬·평가·가드레일이 결합된 하네스다. 업의 본질은 그대로이고, 경쟁력은 프로세스를 바꾸는 데이터와 실행 체계에서 나온다. The post [AI 트렌드] 모델은 사는 것, 자산은 쌓는 것 — Domain Data와 Harness appeared first on BESPIN Tech Blog.
개인화 추천을 위한 랭킹 모델 개발기
안녕하세요! 카카오에서 유저 편의성을 높이는 데 관심이 많은 토리입니다. 카카오에는 정말 다양한 서비스와 그 안에 쌓이는 방대한 데이터가 있습니다. 이 많은 콘텐츠와 유저를 잘 이어주는 역할을 하는 것이 바로 추천이고, 그중에서도 "얼마나 이 유저에게 맞는 콘텐츠를 보여주는가"는 서비스 체류시간과 만족도에 직결되는 핵심 문제입니다. 그래서 세그먼트 단위로 동작하던 추천 로직을, 유저 개인의 히스토리를 반영하는 개인화 랭킹 모델로 교체하는 프로젝
Slack 대화 한 번으로 끝나는 CDC 파이프라인 온보딩
[아키텍처] 이기종 데이터 통합 설계, 모니터링 통합에서 얻은 3가지 경계
@keyframes kttblink { 50% { opacity:0; } } .ktt-cursor { animation:kttblink 1.05s step-end infinite; } @keyframes kttlive { 0% { box-shadow:0 0 0 0 rgba(63,185,80,0.55); } 70% { box-shadow:0 0 0 6px rgba(63,185,80,0); } 100% { box-shadow:0 0 0 0 rgba
Apache Airflow 3.x 무엇이 달라졌고, 어디로 가고 있는가?
우리가 오해하고 있는 Airflow Airflow가 뭔가요? 그거? ETL하는 스케줄러 'Airflow가 뭔가요?'라는 질문에 '워크플로우를 오케스트레이션하는 플랫폼입니다.'라는 대답이 때때로 충분하지 않을 때가 있...
[데이터센터 입문콘텐츠] GPU를 사 왔습니다. 그런데 이건 어디에 두나요? AI GPU와 데이터센터
고성능 GPU 1만 장은 칩만으로 약 7MW를 소비해 소도시급 전력에 맞먹습니다. 전력밀도·발열·하중을 일반 서버실이 감당하지 못해 전용 데이터센터가 필요합니다. AI GPU는 서버·랙·상면과 전력·냉각 설비를 갖춘 ... Read More
쿼리가 아니라 정의를 고치기로 했습니다: Databricks Metric View 도입기
Metric View를 신규 런칭 게임의 데이터 파이프라인에 도입하면서, 대시보드와 분석 에이전트가 같은 지표 정의를 읽게 하기 위해 데이터 구조를 어떻게 나눴는지, 그 과정에서 정한 설계 규칙과 결과를 공유합니다.
Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기
대규모 데이터 인프라 환경에서 안정적이고 빠른 데이터 입수는 하위 분석 작업과 비즈니스 의사결정의 중요한 초석이라고 생각합니다. 기존 인프라에서는 1,200여 개의 데이터 파이프라인이 Oozie XML을 통해 관리되고, 데이터 입수 도구로 Sqoop…
[kt cloud 웨비나] AI 시대, 데이터센터 운영의 기준을 높이다
요약SUMMARY 이번 kt cloud 웨비나에서는 kt cloud에서 25년간 축적한 데이터센터 운영 경험을 바탕으로, AI와 BIM을 실제 현장에 적용해 AIDC 구축·운영을 혁신한 사례를 공유합니다. 안녕하세요. kt cloud 마케팅커뮤니케이션팀입니다. AI 인프라의 고집적·고도화로 데이터센터 환경이 복잡해지면서, 어떻게 보다 효율적이고 지능적으로 데이터센터를 구축하고 운영할 것인가가 중요한 과제로 떠오르고 있습니다.이러한 과제에 대한
이번 주 GEO 논쟁을 움직인 숫자 여섯 개. 이번 주에 측정된 건 둘뿐이다
이번 주 일본과 북미 실무 타임라인에서 같은 주제로 두 갈래 논쟁이 붙었습니다. “랭킹은 아직 유효한가, 아니면 인용은 이미 다른 게임인가.” 양쪽 다 숫자를 들고 나왔습니다. 여섯 개였습니다. 우리는 그 여섯 개의 원문을 하나씩 열어 측정 시점과 표본과 스코프를 확인했습니다.넷은 3월에서 7월 사이에 측정된 것이었고, 하나는 방법론 페이지가 존재하지 않았습니다. 이번 주에 실제로 발표된 것은 둘뿐이었습니다.… 더 보기 »이번 주 GEO 논쟁을
셀트리온제약의 AI-DLC 방법론과 Kiro를 활용한 OMS 서비스 구축하기
셀트리온제약은 케미컬의약품과 바이오의약품을 국내외 시장에 공급하는 대한민국 대표 제약기업입니다. 셀트리온제약은 의약품 위탁 생산(Contract Manufacturing Organization, CMO)을 위한 관리, 공급망, 계약 업무를 하나로 연결하는 핵심 시스템인 OMS(Order Management System)를 새롭게 구축해야 했습니다. 프로젝트 착수 시점에 개발팀이 마주한 현실은 다음 한 문장에 압축되어 있습니다. “3개월 안에 O