토스증권이 GPU-aware를 넘어 GPU-native 클러스터를 구축한 방법
토스증권이 Kubernetes GPU 클러스터의 운영 한계를 해결한 방법
기업 기술블로그의 DevOps 관련 글 934개
토스증권이 Kubernetes GPU 클러스터의 운영 한계를 해결한 방법
안녕하세요, 올리브영 글로벌 매장 서비스를 개발하고 있는 백엔드 개발자 봉자언니🐱입니다. '올리브영 글로벌 매장'이라 하면 생소하신 분이 계실 수도 있을 것 같은데요, 올리브영은 지난 5월 미국 캘리포니아주 패서디나에 미국 첫 매장을 열었고,…
EKS 노드에 파드(Pod)를 더 밀도 있게 채워서 컴퓨트 비용을 줄이고 싶은데, 스케줄러 설정에는 손댈 방법이 없어 아쉬웠던 적이 있으신가요? 대규모 이벤트로 트래픽이 많아지는 순간 오토스케일링이 조금 더 빨리 반응해 주기를 바랐던 경험은 어떠신가요? 지금까지 Amazon EKS에서 이런 요구를 해결하기가 쉽지 않았습니다. kube-scheduler와 kube-apiserver 같은 컴포넌트의 구성이 EKS 컨트롤 플레인 고유의 영역이었기 때
셀트리온제약은 케미컬의약품과 바이오의약품을 국내외 시장에 공급하는 대한민국 대표 제약기업입니다. 셀트리온제약은 의약품 위탁 생산(Contract Manufacturing Organization, CMO)을 위한 관리, 공급망, 계약 업무를 하나로 연결하는 핵심 시스템인 OMS(Order Management System)를 새롭게 구축해야 했습니다. 프로젝트 착수 시점에 개발팀이 마주한 현실은 다음 한 문장에 압축되어 있습니다. “3개월 안에 O
개발자 여러분, 안녕하세요!9월 둘째 주 블로그에 발표된 Google의 주요 개발자 제품별 최신 소식을 살펴보세요.[주요 개발자 블로그 업데이트]AI & Machine LearningKotlin용 ADK 1.0 발표: Kotlin과 Android 생태계 전반을 위한 프로덕션 레벨 AI 에이전트 구축 (Announcing ADK for Kotlin 1.0: Building Production-Ready AI Agents in Kotlin, And
들어가며안녕하세요. LINE Plus의 LINE VoIP Service Dev 팀에서 서버 개발을 하고 있는 한규범, ABC Studio에서 서버를 개발하고 있는 황건구입니다.저희...
소개 클라우드 전환을 가속화하는 조직들은 공통된 병목에 직면합니다. 바로 핵심 비즈니스를 지탱하는 레거시 시스템의 현대화(Modernization)입니다. 기업이 Oracle에서 Amazon Aurora PostgreSQL-Compatible Edition으로 마이그레이션할 때, 테이블, 인덱스, 뷰 같은 스키마 객체는 AWS Schema Conversion Tool(SCT)과 AWS DMS Schema Conversion으로 안정적으로 변환할
1부에서는 Amazon EKS의 GPU 노드에서 Gemma 4 31B를 vLLM으로 서빙할 때의 콜드 스타트를 다뤘습니다. 파드가 Ready가 되기까지의 시간을 428초에서 226초로 줄인 과정입니다. 스트리밍 로더로 가중치를 S3에서 직접 읽고 컴파일 캐시를 hostPath와 S3에 남기고 유휴 상태는 sleep/wake로 전환하는 구성이었습니다. 모델은 NVIDIA가 공개한 NVFP4 체크포인트 nvidia/Gemma-4-31B-IT-NVF
Gemma 4는 Google이 공개한 오픈 웨이트 모델 패밀리로, E2B부터 31B까지 5가지 크기에 텍스트와 이미지 입력(E2B, E4B, 12B는 오디오도 지원), 최대 256K 토큰 컨텍스트(E2B, E4B는 128K), 추론(thinking) 모드를 제공합니다. 그중 31B는 밀집(dense) 구조의 최상위 모델로, NVFP4(4비트 부동소수점)로 양자화한 가중치 약 31GiB가 96GB GPU 1개에 올라가는 대신 시작할 때마다 수십
"자발적 참여를 독려합시다"는 작동하지 않는다
여러 AWS 콘솔과 CLI 결과를 오가며 인프라 관계를 확인하던 문제를 '읽기 전용 Snapshot 기반 웹 포털'로 풀었습니다. 이 글에서는 단일 만능 프롬프트 대신 업무 분석·설계·UI·프론트엔드·테스트 역할을 나누고, 프로젝트 지식·도구·안전 규칙·검증 게이트를 에이전트에 넣은 과정을 소개합니다. 나아가 PoC 작업 기록 기준으로 4~6주가 예상되던 초기 구현을 약 5시간으로 단축하게 된 성과와 함께, 빠른 코드 생성보다 역할과 완료 조건
if(kakao)2026 둘째 날은 안정성과 인프라, 거버넌스, AI-DLC, Model & Agent에 대해 이야기합니다. 키노트를 제외한 총 30개의 기술 세션들이 아래와 같이 진행됩니다. [안전성과 인프라] 1. 유휴 서버를 찾다가 Hybrid Cloud까지 갔습니다: 비용 가시화에서 Unit Economics를 향해가는 카카오의 FinOps 여정 (백정태, 정원천) “서버가 놀고 있네? 그럼 빼면 되겠네!”…그렇게 간단하지 않았습니다.
플랫폼의 핵심은 개발자의 멘탈 모델을 단순하게 유지하는 데 있습니다. 카카오뱅크의 신규 발송기는 Lock-Free, Work-Stealing 같은 복잡한 성능 최적화는 내부에 숨기고, 개발자에게는 “몇 개의 메서드만 구현하면 된다"는 단순한 인터페이스를 제공합니다. 시리즈물로 연재되는 ‘대규모 알림 시스템 구축기’의 첫 번째 글인 이번 편에서는, 하루 N억 건을 처리하는 고성능 발송 플랫폼의 뼈대와 계층 분리 아키텍처를 공유합니다.
이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다. 이 글은 GS리테일의 전사 AI Gateway 구축 사례 1부: 인증·라우팅·계정 자동화 설계에 이어지는 두 번째 글입니다. 1부를 아직 보지 않으셨다면 먼저 읽어보시길 권해드립니다. 1부에서는 GS리테일 클라우드인프라팀이 사내 AI 도구 수요를 조직 차원에서 안전하게 받아내기 위해, 모든 AI 호출을 하나의 관문으로 모으는 전사 AI Gateway를 구축한 과정을 다뤘습니다. Clau
이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다. 다양한 AI 서비스를 안전하게 활용하기 위한 단일 운영 플랫폼 구축 수백 개 팀 계정의 AI 호출을 하나의 관문에서 인증·비용·쿼터 단위로 통제할 수 있을까요? 생성형 AI는 이제 기업의 업무 환경에 빠르게 자리 잡고 있습니다. 개발자는 코드 작성을 위해 AI를 활용하고, 기획자는 문서 작성과 아이디어 발굴에 AI를 사용하며, 데이터 분석가는 AI를 […]
Dev Session #01 가장 오래 지켜온 엔지니어가 말하는 데브 세션의 변화
🔗 if(kakao)26 바로가기 - 10월 13일부터 14일까지 이틀간 카카오 AI 캠퍼스에서 온·오프라인 진행 -올해 슬로건 ‘모든 연결에 지능을’… AI가 확장할 연결의 경험과 신뢰할 수 있는 기술 기준 제시 - 50여개 기술 세션서 AI 적용 성과와 개발 경험 공유…파이어사이드 챗·네트워킹 프로그램도 운영 [2026-09-07] 카카오(대표이사 정신아)가 오는 10월 13일부터 14일까지 이틀간 경기도 용인시 소재 ‘카카오 AI 캠퍼스
페이지 3 / 52 (총 934개)