Amazon Bedrock 모델 promptfoo 로 성능 평가하기
들어가며 “프롬프트를 바꿨는데, 정말 더 나아진 걸까?” 생성형 AI 애플리케이션을 개발하는 엔지니어라면 누구나 한 번쯤 마주치는 질문입니다. 프롬프트 한 줄을 수정하거나 모델을 교체할 때마다 품질이 좋아졌는지 확신하기 어렵고, 여러 모델을 두고 어느 쪽이 서비스에 더 맞는지 판단하려면 같은 질문을 양쪽에 던져 결과를 일일이 눈으로 비교해야 합니다. 문제는 대규모 언어 모델(Large Language Model, 이하 LLM)이 비결정적(non
AI/MLLLMPerformance
Oracle Database@AWS 네트워크 구성 가이드
Oracle Database@AWS(ODB@AWS)는 AWS 데이터센터 내에 위치한 Oracle Exadata 인프라에서 Oracle Database를 네티브로 실행할 수 있게 해주는 서비스입니다. Oracle MAA Platinum 인증을 획득하였으며, 애플리케이션-데이터베이스 간 RTT(Round Trip Time) 165μs의 초저지연을 달성하여 미션 크리티컬 워크로드에 적합한 성능을 제공합니다. 그러나 ODB@AWS는 기존 AWS 서비스
AWSDatabaseInfraPerformance
AWS Site-to-Site VPN 무중단 운영의 정석 : BGP와 Lifecycle Control로 유지보수 장애 예방하기
들어가며 AWS Site-to-Site VPN은 온프레미스와 AWS VPC를 연결하는 가장 빠르고 간편한 방법입니다. 하지만 운영을 하다 보면 한 번쯤은 이런 경험을 하게 됩니다. “새벽에 갑자기 VPN 터널이 끊기면서 온프레미스-AWS 간 통신이 중단되었습니다. AWS 측에서 예정된 유지보수라고 하는데, 이걸 왜 미리 몰랐을까요?” 실제로 많은 고객이 AWS Site-to-Site VPN 사용 중 터널 유지보수(Tunnel Endpoint M
AWSDevOpsInfraMonitoring
AWS Elemental Inference를 활용한 실시간 문맥 광고(Contextual Advertising) 솔루션
AWS Elemental Inference Smart Subtitle, Amazon Bedrock, SCTE-35를 결합하여 라이브 방송 콘텐츠의 문맥을 실시간으로 이해하고, 최적의 시점에 문맥 기반 광고를 배치하는 아키텍처를 구축합니다. 이 블로그에서는 라이브 콘텐츠의 음성을 실시간으로 자막화하고, 그 자막의 문맥을 AI가 분석하여 IAB(Interactive Advertising Bureau) 카테고리로 분류한 뒤, 표준 SCTE-35 오버
AI/MLAWSArchitectureDevOpsMLOps
사조시스템즈의 사내 ERP 데이터 기반 Agentic AI 구축 여정 – Strands Agents SDK와 Kiro 활용기
이번 블로그는 AWS DEVCRAFT 2026 (2026.3.26 ~ 4.9, AWS 코리아 오피스) 해커톤 프로그램에 참여하여 진행한 프로젝트를 기반으로 작성되었습니다. DEVCRAFT는 AWS SA와 고객사 개발팀이 함께 실제 비즈니스 과제를 2주간 집중 개발하는 프로그램입니다. 회사소개 사조시스템즈는 사조그룹의 계열사로 그룹의 전산업무를 총괄 관리·운영하는 IT 전문 기업입니다. 사업영역은 Logistics, IT사업, PM(Project
AI AgentAWSBackendData EngineeringDevOps
Amazon OpenSearch 3.3 업그레이드로 미리캔버스의 검색 성능 개선
부제: derived source와 Lucene 10.3으로 stored fields 병목을 해소하고, 무중단·안전 롤백 전략으로 메이저 버전을 올린 이야기 본 게시글은 미리디의 김민석, 최시온, 이동진, 김백규님과 함께 작성하였습니다. 미리디의 미리캔버스 소개 미리캔버스는 “누구나 쉽게, 함께 만드는 디자인”을 지향하는 실시간 협업 디자인 플랫폼입니다. 프레젠테이션, SNS 카드뉴스, 유튜브 썸네일, 포스터까지 다양한 시각 콘텐츠를 브라우저에
AWSData AnalysisElasticsearchPerformanceSearch
Amazon OpenSearch Service로 미리캔버스의 듀얼 벡터 검색 도입과 성능 최적화
부제: 4,000만 건 디자인 리소스의 의미 기반 검색을 위한 듀얼 벡터 설계, 그리고 OpenSearch 2.19에서 마주한 메모리와 IOPS 병목과의 싸움 본 게시글은 미리디의 김민석, 최시온, 이동진, 김백규님과 함께 작성하였습니다. 미리디의 미리캔버스 소개 미리캔버스는 “누구나 쉽게, 함께 만드는 디자인”을 지향하는 실시간 협업 디자인 플랫폼입니다. 프레젠테이션, SNS 카드뉴스, 유튜브 썸네일, 포스터까지 다양한 시각 콘텐츠를 브라우저
AI/MLBackendData AnalysisElasticsearchPerformance
포스코DX의 엔지니어링 암묵지를 AI가 활용할 수 있는 지식 자산으로 전환하기
들어가며 “이 밸브 유형에는 향후 사양 변경에 대비해 예비 접점을 반드시 확보합니다.” 20년 차 시니어 엔지니어는 이 규칙을 당연하게 적용합니다. 하지만 이 판단 기준은 어떤 매뉴얼에도 적혀 있지 않고, 어떤 교과서에도 나오지 않으며, 인터넷 어디에서도 검색할 수 없습니다. 오직 수십 년의 현장 경험을 통해, 사람에서 사람으로 전승되어 온 지식입니다. 이 문제는 한 조직만의 이야기가 아닙니다. […]
AI/MLBackendCulture
하나투어의 Amazon Neptune과 Amazon Bedrock AgentCore를 활용한 여행상품 기획 에이전트 구축기
“오사카 3박 4일, 벚꽃 시즌, 예산 150만 원.” 이 조건 한 줄로 여행 패키지 기획 초안을 만들 수 있다면 어떨까요? 하나투어는 상품기획자(MD, Merchandiser)가 수작업으로 2~3일에 걸쳐 만들던 패키지 일정 초안을, 지식 그래프 기반의 AI 에이전트로 2~3분 만에 생성하는 시스템을 구축했습니다. 이 글에서는 하나투어가 두 번의 시행착오 끝에 Amazon Neptune 기반 GraphRAG(그래프 기반 검색 증강 생성)와 A
AI AgentAI/MLAWSData EngineeringMLOps
Amazon Bedrock AgentCore로 구축하는 AgentOps (2): 관측성, 평가, 그리고 AgentOps 라이프사이클
본 사례는 AWS 3A(Agentic AI Acceleration) 프로그램에서 재사용 가능한 레퍼런스 asset으로 개발되었습니다. 이 글은 프로덕션 환경에서 에이전틱 AI를 운영하기 위한 2부작 시리즈입니다. 파운데이션을 세우는 것에서 시작해, 이를 안정적으로 운영하는 AgentOps까지 다루며, 이번 글은 그 두 번째 편입니다. Part 1: Amazon Bedrock AgentCore로 구축하는 AgentOps (1): 파운데이션과 게이
AI AgentAWSDevOpsMonitoring
Amazon Bedrock AgentCore로 구축하는 AgentOps (1): 파운데이션과 게이트웨이
본 사례는 AWS 3A(Agentic AI Acceleration) 프로그램에서 재사용 가능한 레퍼런스 asset으로 개발되었습니다. 이 글은 프로덕션 환경에서 에이전틱 AI를 운영하기 위한 2부작 시리즈입니다. 파운데이션을 세우는 것에서 시작해, 이를 안정적으로 운영하는 AgentOps까지 다룹니다. Part 1: Amazon Bedrock AgentCore로 구축하는 AgentOps (1): 파운데이션과 게이트웨이 (이번 글) Part 2:
AI AgentAWSDevOpsInfra
Amazon RDS for MySQL에서 Amazon Aurora Serverless v2로 전환한 메가MGC커피 모바일 주문 서비스 DB 현대화 사례
메가MGC커피 소개 메가MGC커피는 전국 단위의 매장을 기반으로 빠르게 성장해 온 국내 대표 커피 프랜차이즈 브랜드입니다. 오프라인 매장 주문과 모바일 앱을 통한 주문 서비스도 제공하고 있으며, 고객은 앱을 통해 가까운 매장을 선택하고, 음료를 미리 주문한 뒤 매장에서 픽업할 수 있습니다. 모바일 앱 주문 서비스는 고객 편의성과 매장 운영 효율성을 높이는 핵심 디지털 채널입니다. 특히 출근 시간대와 […]
DatabaseInfraMobile
의뢰자가 가장 어려워하는 단계를 AI로: Strands SDK를 활용한 라우드소싱의 공모전 브리핑 에이전트 구축기
스터닝은 ‘창작자가 중심이 된 비즈니스 생태계를 만드는 플랫폼’을 목표로 라우드소싱과 노트폴리오가 만나 탄생한 기업입니다. 그 중 라우드소싱은 디자인 아이디어를 얻을 수 있는 공모전, 1:1 의뢰 등의 서비스를 제공하고 있으며, 창작자와 의뢰자를 효과적으로 연결하기 위해 마켓, 매칭, 통합검색 기능 등을 지속적으로 고도화 해왔습니다. 라우드소싱의 브리핑 작성 AI는 의뢰자가 공모전을 등록할 때 원하는 디자인 카테고리, 업종, 스타일, […]
AI AgentAI/MLFrontendMobileUX/UI
AWS DevOps Agent 를 활용한 성능 테스트 결과 분석
1. 개요 AWS DevOps Agent는 인시던트 대응을 위한 자율형 AI 에이전트입니다. 장애가 발생하면 AWS 리소스와 외부 모니터링 도구(Datadog 등)의 메트릭·로그를 자동으로 수집·분석하고, 근본 원인을 파악하여 우선순위가 지정된 권장사항을 제공합니다. 그런데 한 발 물러서 생각해보면, 성능 테스트 결과 분석도 본질은 같습니다 — “특정 시간대에 시스템에 부하가 가해졌을 때, 어떤 리소스가 어떤 상태였고, 어디가 병목이었는가?”를
AWSDevOpsMonitoringPerformance
단일 LLM Gateway 아키텍처 : Claude Code와 Codex를 Amazon Bedrock을 통해 한 곳에서
Claude Code와 Codex를 비롯한 AI 코딩 에이전트는 이미 엔터프라이즈 개발 조직의 일상적인 생산성 도구로 자리잡았습니다. 도구가 빠르게 발전하는 만큼 개발자들은 더 나은 모델과 기능을 따라 다양한 도구를 적극적으로 사용하고 있습니다. 이제 조직의 고민은 “도입할 것인가”가 아니라 “어떻게 운영할 것인가”입니다. AI 코딩 에이전트는 소스 코드와 작업 컨텍스트를 LLM에 전달하고, 그 비용은 사용량에 비례해 발생하며, 어떤 데이터가
AI AgentAI/MLAWSArchitectureMLOps
동원F&B의 Amazon Bedrock AgentCore 기반 AI 쇼핑 어시스턴트로 쇼핑 경험 혁신 여정
동원F&B는 식품 제조를 넘어 건강한 식문화와 라이프스타일 혁신을 선도하며, 대한민국 대표 종합식품기업으로 자리매김하고 있습니다. 축적된 식품 기술력과 디지털 혁신 역량을 바탕으로, 고객의 일상 전반에 새로운 가치를 제공하는 미래형 푸드&라이프 플랫폼 기업으로 도약하고 있습니다. 동원F&B가 운영하는 ‘동원몰’은 동원을 대표 식품 전문 이커머스 플랫폼으로, 매일 수많은 고객에게 신선하고 다양한 먹거리를 제공하고 있습니다. 유통·제조업계 전반에
AI AgentAI/MLBackendMobileUX/UI
Amazon S3 Files, 도입 전 반드시 확인해야 할 3가지 고려사항
소개 2026년 4월 7일 Amazon S3 Files가 정식 출시되면서 “S3 버킷을 파일시스템처럼 다룬다”는 메시지가 빠르게 확산되고 있습니다. 4월 21일에는 AWS Lambda 마운트 지원도 추가되어 Amazon EC2, Amazon Elastic Container Service(ECS) (AWS Fargate / Amazon ECS 관리형 인스턴스), Amazon EKS, AWS Lambda 네 가지 컴퓨팅에서 사용할 수 있습니다. 엔
BackendInfraTools
Amazon MWAA와 Bedrock AgentCore로 MCP 기반 클라우드 정책 에이전트 구축하기
개요 조직의 클라우드 인프라가 성장하면서 IAM 정책, 보안 그룹, 스토리지 설정, 네트워크 구성 등 수백 개의 정책과 리소스 설정이 여러 계정과 리전에 분산됩니다. DevOps 팀은 인프라 상태를 파악하고, SecOps 팀은 과도한 권한을 찾아내며, Compliance 팀은 규정 준수 여부를 감사하고, FinOps 팀은 리소스 사용 현황을 분석해야 합니다. 그러나 이 모든 팀이 동일한 데이터를 서로 다른 관점에서 […]
AWSDevOpsInfraSecurity