[운영가이드] Kubernetes 기반 Fault-Tolerant GPU 클러스터 유지 관리
[ kt cloud Foundation플랫폼팀 서준호 님 ] 요약 이 글에서는 Kubernetes 기반 Fault-Tolerant GPU 클러스터의 안정적 운영과 유지 관리 방안을 다룹니다. 대규모 AI 인프라에서 장애 대응과 성능 저하 예방이 운영 신뢰성에 미치는 의미를 정리합니다. #Kubernetes #GPU클러스터 #FaultTolerance #Slurm #InfiniBand 생성형 AI와 대규모 언어 모델(LLM) 시대에 고성능 연산에
[AI인프라] AI 시대의 보이지 않는 혈관, 데이터센터 전력 케이블 이해하기
[ kt cloud DC동부운용팀 이민재 님 ] 요약 이 글에서는 AI 데이터센터 전력 케이블의 구조, 설계, 시공, 진단과 차세대 기술을 다룹니다. 안정적인 전력 공급이 인프라 신뢰도와 운영 관리에 미치는 영향을 정리합니다. #AI데이터센터 #전력케이블 #데이터센터인프라 #HVDC #XLPE 전력 확보 전쟁, 그 중심에 선 케이블 최근 '전력 확보 전쟁'이라는 말이 뉴스 헤드라인을 장식하고 있습니다. 생성형 AI의 등장으로 데이터센터의 랙당
효율적인 CLAUDE.md 파일관리 및 컨텍스트 최적화 전략
이 글은 Claude Code의 핵심 설정 파일인 CLAUDE.md를 효율적으로 관리하기 위한 컨텍스트 엔지니어링 전략을 다룹니다. 무분별한 규칙 추가가 오히려 AI의 성능을 저해하는 컨텍스트 부패(Context Rot) 현상을 설명하고, 이를 방지하기 위한 JIT(Just-In-Time) 전략, 메모리 계층 구조 활용, 그리고 안드레 카파시(Andrej Karpathy) 스타일의 간결한 지침 작성법을 제시합니다. 단순한 프롬프트 작성을 넘어
AI 시대의 필수 소비재, 메모리 이해하기 3편: HBF가 풀어야 할 과제
HBF에게 적합한 자리는 분명히 있습니다. 하지만 memory hierarchy 피라미드에 들어가기 위해서는 아직 부족한 점이 많습니다. 최신 LLM 모델 및 추론 워크로드 트렌드, 그리고 Flash memory의 LLM 사용 방식을 살펴보며 HBF의 남은 과제와 극복 방안에 대해 살펴봅니다.
글로벌 앱 시장이 보내는 2가지 신호
KBO에서 KBL까지, 티빙(TVING)이 ‘팬덤 중계’로 시청 비율 최대 55% 상승시킨 스포츠 중계 노하우
Apache Airflow 3.x Dag Parsing 최적화 체크리스트
Dag 파싱을 최적화 한다는 것? 저만 그런진 모르겠지만 저는 처음에 Dag 가 파싱되는 것을 최적화 한다는 것이 어떤 것인지 이해가 어려웠습니다. 그래서 거기서 부터 설명을 하면 좋을 것 같아서 끄적여보았습니다. ...
현대오토에버의 Amazon Bedrock으로 구축한 다중 AI 에이전트: 장애 대응 시간 5분으로 단축하기
이 글은 현대오토에버의 GenAI Sandbox 활용 생산성 향상 해커톤 시리즈의 두 번째 글이며, 현대오토에버의 김만철, 최라윤님과 함께 작성하였습니다. 첫 번째 글에서는 현대오토에버와 AWS가 GenAI Sandbox를 활용해 어떻게 생산성 향상 해커톤을 기획하고 운영했는지, 그리고 14개 팀 150여 명이 참여한 이 행사의 전반적인 성과를 소개했습니다. 이번 글에서는 해커톤 수상 팀 중 하나인 ErrorWatcher 팀이 AWS에서 Lan
KBO 리그 이닝 교체 때 광고 요청 견뎌내기
카프카 파티션 개수 산정식 설계 여정
Broker 특성, Latency, Peak traffic, Backfill catch-up을 모두 고려한 과정
취사병 전설이 되다! 5월 TVING NOW
[코드가 환경을 모르는 구조 7/7] Variant와 스냅샷 캐시, 그리고 다섯 축의 총합
테스트 인프라가 프로덕션을 닮아야 하는 이유와, 이 시리즈가 남긴 것
느려터진 에디터 좀 고쳐줘를 AI에게 시켜봤다
Auto Research 기법을 활용한 LLM 기반 자율 성능 개선 시스템 구축 여정
[코드가 환경을 모르는 구조 6/7] 컨테이너는 왜 폭발하는가
Testcontainers가 속도의 적이 되는 순간, 그리고 BuildService라는 해법
Composite PK에서 시작된 Spring Boot 4 / Spring Batch 6 업그레이드 기록
Product Engineer: 하루 500건 분석 요청을 받아내는 데이터 에이전트, 일을 돕는 AI에서 일을 수행하는 AI로
Datadog RUM 도입기: 비용을 90% 줄이기까지
Datadog RUM을 도입하고 비용을 최대로 줄인 이야기
사람이 기다리지 않는 담보심사시스템 설계
카카오뱅크의 개인사업자 부동산 담보 대출 상품을 출시하며, 복잡하고 시간이 오래 걸리던 담보 심사 업무의 부분 자동화를 구현했습니다. 사람이 기다리지 않아도 되는 심사 구조를 만들기 위해 어떤 문제를 어떻게 해결했는지, 그 과정에서 얻은 설계 경험과 실제 운영 효과에 대한 깊이 있는 인사이트를 공유합니다.