Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [1부: 콜드 스타트 최적화]
Gemma 4는 Google이 공개한 오픈 웨이트 모델 패밀리로, E2B부터 31B까지 5가지 크기에 텍스트와 이미지 입력(E2B, E4B, 12B는 오디오도 지원), 최대 256K 토큰 컨텍스트(E2B, E4B는 128K), 추론(thinking) 모드를 제공합니다. 그중 31B는 밀집(dense) 구조의 최상위 모델로, NVFP4(4비트 부동소수점)로 양자화한 가중치 약 31GiB가 96GB GPU 1개에 올라가는 대신 시작할 때마다 수십
AWS로 구현한 Internet Gateway가 없는 연구환경, 신뢰연구환경(TRE) 솔루션 NDS AI·RE
Internet Gateway 없는 격리 분석환경부터 Air-lock, AI Core까지, AWS로 구현한 신뢰연구환경(TRE) NDS AI·RE의 핵심 기술을 소개합니다. The post AWS로 구현한 Internet Gateway가 없는 연구환경, 신뢰연구환경(TRE) 솔루션 NDS AI·RE appeared first on NDS Cloud Tech Blog.
주식회사 SEGA, 소규모 팀으로 「Sonic Rumble Party」 글로벌 출시를 위한 Amazon DynamoDB 및 Amazon ElastiCache Serverless for Valkey 활용 사례
이 글은 2026년 8월 19일 AWS Japan 블로그에 게재된 ‘株式会社セガ、グローバル展開タイトル『ソニックランブル パーティ』を少人数チームで支える Amazon DynamoDB / Amazon ElastiCache Serverless for Valkey 活用事例’를 번역한 글입니다. 서론 주식회사 SEGA는 가정용 게임기, PC, 스마트폰용 게임의 기획, 개발, 판매, 운영을 중심으로, 다양한 콘텐츠와 상품을 전 세계에 제공하고 있습니다. SE
한 명의 개발자가 여러 전문가와 일하는 방법: 역할형 AI 에이전트로 AWS 인프라 포털 만들기
여러 AWS 콘솔과 CLI 결과를 오가며 인프라 관계를 확인하던 문제를 '읽기 전용 Snapshot 기반 웹 포털'로 풀었습니다. 이 글에서는 단일 만능 프롬프트 대신 업무 분석·설계·UI·프론트엔드·테스트 역할을 나누고, 프로젝트 지식·도구·안전 규칙·검증 게이트를 에이전트에 넣은 과정을 소개합니다. 나아가 PoC 작업 기록 기준으로 4~6주가 예상되던 초기 구현을 약 5시간으로 단축하게 된 성과와 함께, 빠른 코드 생성보다 역할과 완료 조건
GS리테일의 전사 AI Gateway 구축 사례 – 2부: 실사용을 견디는 운영과 거버넌스
이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다. 이 글은 GS리테일의 전사 AI Gateway 구축 사례 1부: 인증·라우팅·계정 자동화 설계에 이어지는 두 번째 글입니다. 1부를 아직 보지 않으셨다면 먼저 읽어보시길 권해드립니다. 1부에서는 GS리테일 클라우드인프라팀이 사내 AI 도구 수요를 조직 차원에서 안전하게 받아내기 위해, 모든 AI 호출을 하나의 관문으로 모으는 전사 AI Gateway를 구축한 과정을 다뤘습니다. Clau
GS리테일의 전사 AI Gateway 구축 사례 – 1부: 인증·라우팅·계정 자동화 설계
이 블로그는 GS리테일과 AWS의 협업으로 작성되었습니다. 다양한 AI 서비스를 안전하게 활용하기 위한 단일 운영 플랫폼 구축 수백 개 팀 계정의 AI 호출을 하나의 관문에서 인증·비용·쿼터 단위로 통제할 수 있을까요? 생성형 AI는 이제 기업의 업무 환경에 빠르게 자리 잡고 있습니다. 개발자는 코드 작성을 위해 AI를 활용하고, 기획자는 문서 작성과 아이디어 발굴에 AI를 사용하며, 데이터 분석가는 AI를 […]
AI Agent를 위한 OpenSearch 검색 품질 개선하기 (Part 2)
Rerank와 Weight 튜닝, 그리고 예상과 다른 결과들 1부에서는 Amazon OpenSearch Service와 Amazon Bedrock으로 검색 품질을 측정하는 시스템을 만들었습니다. 이제 측정할 수 있게 됐으니, 고객들은 자연스럽게 “그래서 어떻게 개선하지?” 를 묻게 됩니다. 이번 글에서는 측정 결과를 바탕으로 검색 품질을 실제로 끌어올리는 방법을 다룹니다. 사실 저는 이 테스트를 시작할 때 “검색 성능은 Rerank를 붙이면 당
채널코퍼레이션의 Amazon DynamoDB와 함께한 아키텍처 현대화 여정 – 3부
이 블로그는 Channel Corporation의 이해빈님, 박진영님과 함께 작성되었습니다. 채널코퍼레이션은 올인원 AI 메신저 ‘채널톡’을 운영하는 B2B SaaS 스타트업으로 Amazon DynamoDB의 수평 확장성, ACID 트랜잭션과 같은 특징을 활용해 빠르게 성장하는 비즈니스를 문제없이 수행하고 있습니다. 이 시리즈의 1부에서는 채널코퍼레이션이 Amazon DynamoDB를 선택한 이유와 Amazon DynamoDB에서 트랜잭션을 처
가격 예측부터 입찰 전략까지, LG에너지솔루션의 Amazon Bedrock AgentCore 기반 ERCOT 분석 에이전트 구축기
– 박경수(AWS Solutions Architect), 장현태(AWS Solutions Architect),, 백승연 (LG에너지솔루션, Product Owner) · 최수아 (LG에너지솔루션, Data Scientist “실시간으로 가격이 바뀌는 전력시장에서 최대 수익을 내려면 얼마에 입찰해야 할까? 그 가격을 예측하고 입찰 전략까지 분석해주는 에이전트가 있다면?” LG에너지솔루션 전력거래솔루션은 이 한 문장에서 출발했습니다. LG에너지솔루
Amazon ECS 실행 구조와 선택 기준 – 1부: 컴퓨트와 실행 형태
AI 시대로 전환이 가속화되면서 Amazon ECS가 다시 주목받고 있습니다. 모델 추론 서버부터 AI 에이전트와 에이전트가 호출하는 도구까지 컨테이너로 배포되는 워크로드가 증가했고, GPU 컴퓨트와 급격한 트래픽 변화를 감당하는 일들이 컨테이너 운영의 일상이 되었기 때문입니다. 하지만 ECS로 컨테이너 워크로드를 운영하다 보면 비슷한 고민과 마주치게 됩니다. EC2에서 제공되던 서비스를 Fargate로 이전할 때 시작 유형(launch typ
Amazon ECS 실행 구조와 선택 기준 – 2부: 배포 전략과 네트워크, 설계 상한
이 글은 Amazon ECS 실행 구조와 선택 기준을 다루는 시리즈의 2부입니다. 1부에서는 launch type은 호환되는 실행 환경을 표시하는 용도로만 사용하고 실제 실행은 용량 공급자(capacity provider)로 구성한다는 원칙을 바탕으로, Fargate와 ECS Managed Instances, EC2에 걸친 컴퓨트 선택과 Express Mode부터 예약 Task까지의 실행 형태를 살펴봤습니다. 2부에서는 남은 선택지를 다룹니다.
Amazon EC2 Nitro V6의 Connection Tracking 유휴 타임아웃 변경 대응하기
주말 내내 트래픽이 없던 서비스에서 월요일 아침 첫 요청들만 유독 타임아웃으로 실패합니다. Karpenter가 노드를 교체한 뒤부터는 원인을 알 수 없는 연결 오류가 늘었는데, 부하 테스트를 아무리 돌려도 재현되지 않습니다. 최근 이런 증상을 겪었다면 애플리케이션 코드보다 먼저 확인할 것이 있습니다. 워크로드를 실행 중인 인스턴스 타입의 세대와 Nitro 버전입니다. 2025년 6월부터 출시되고 있는 Nitro V6 기반 인스턴스(m8i, […
Amazon Quick으로 FinOps 업무 자동화하기
1. 클라우드 비용 가시성의 출발점 Cloud Intelligence Dashboards(CID)는 AWS Cost and Usage Report(CUR) 데이터를 Amazon Quick 위에 시각화하는 오픈소스 대시보드 프레임워크입니다. 그 핵심인 CUDOS(Cost and Usage Dashboards Operations Solution) 대시보드는 서비스·계정·리전·태그 등 다양한 차원에서 리소스 레벨까지의 세부 비용과 사용량을 한눈에 보
Claude Code 토큰 비용 최적화하기 – 2부: 캐시 경제학과 Amazon Bedrock 조직 비용 관리
Claude Code를 조직에 도입하면 개인의 습관만으로는 답할 수 없는 질문이 남습니다. 자리를 비웠다 돌아오면 첫 응답이 왜 유난히 느리고 비싼지, Amazon Bedrock으로 사용하는 조직에서는 누가 얼마나 쓰는지를 어디서 확인할 수 있는지 같은 질문입니다. 이 글은 Claude Code 토큰 비용 최적화 시리즈의 2부입니다. 1부(비용 구조와 세션 습관)에서는 비용이 컨텍스트 크기에 비례하고 실제 지불 단가는 프롬프트 캐싱(prompt
AWS Security Agent란? AI의 해킹 시도를 AI로 막는 보안 에이전트
Summary AI가 침투 공격 도구가 되는 시대에 방어도 AI로 해야한다는 흐름이 부상했습니다. AWS의 차세대 보안 에이전트 AWS Security Agent는 개발 라이프사이클 전반에 걸쳐 설계 검토, ... Read More
아임웹의 Amazon VPC Lattice 기반 서비스 네트워크 재설계와 비용 최적화 사례
들어가며 아임웹의 서비스 진입 경로는 AWS 계정과 VPC, 클러스터에 걸쳐 확장되어 왔습니다. 그 과정에서 로드밸런서 계층의 한도에 부딪혔는데, 상향 신청으로 해결되는 한도도 있었지만, ECS 서비스당 Target Group 5개 제한처럼 상향 대상이 아닌 것도 섞여 있었습니다. 이를 계기로 마이크로 프론트엔드(Micro-Frontends, MFE) 서빙 경로를 대상으로 서비스 네트워크를 재설계했습니다. 재설계의 골자는 외부 진입점(North
한 줄 프롬프트에서 그래프 기반 Agent로: Amazon Bedrock AgentCore 기반 ZEP의 교육용 퀴즈 생성 아키텍처
젭(ZEP) 소개 젭은 온라인 메타버스 플랫폼 ZEP을 운영하는 스타트업입니다. ZEP은 사용자들이 온라인 공간에서도 자연스럽게 만나고 소통할 수 있는 경험을 제공하며, 오프라인의 물리적 제약을 넘어 다양한 활동이 이루어질 수 있는 환경을 만들어가고 있습니다. ZEP은 400만 MAU 규모의 서비스 환경에서 WebRTC 기술을 내재화해 안정적인 동시 스트리밍 경험을 제공하고 있으며, 대규모 동시 접속과 상호작용을 처리하는 게임 서버, 웹 […]
DynamoDB 핫 파티션을 해결하는 3가지 방법 (4): 쓰기 샤딩
단건 조회를 유지한 쓰기 샤딩과 약 20억 건의 단계적 마이그레이션