기업 기술블로그의 Performance 관련 글 489개
이전 글 “토큰 한 알의 질주: LLM 서빙의 모든 것” 시리즈에서는 대형 언어 모델(LLM)이 실제 서비스 환경에서 어떻게 빠르고 안정적으로 움직이는지, 그리고 사용자의 요청이 서버를 거쳐 응답으로 생성되는 전 과정을 살펴봤는데요 이번 글에서는 이를 이어받아, 텍스트는 물론 이미지와 음성까지 함께 처리하는 국내 최초 옴니모델 HyperCLOVA X SEED 8B Omni로 이야기를 확장합니다. 실제 환경에서 서비스를 안정적으로 제공하기 위해
한달 걸릴 작업을 AI를 사용해서 하루만에 임팩트 내기
개발자 여러분, 안녕하세요!4월 넷째 주 블로그에 발표된 Google의 주요 개발자 제품별 최신 소식을 살펴보세요.[주요 개발자 블로그 업데이트]AI & Machine LearningLiteRT와 NPU로 실무 환경을 위한 온디바이스 AI 빌드하기 (Building real-world on-device AI with LiteRT and NPU) Gemini 해커톤 신재호 님: "문장 몇 줄이 30컷 스토리보드로!" (국문)Gemini 해커톤 김
SRAM, DRAM, HBM, NAND의 셀 구조와 물리적 특성을 설명하고, HBF(High Bandwidth Flash)가 메모리 계층에서 어떤 빈 자리를 채우는지 기술적으로 분석합니다.
시작하며안녕하세요. Service Reliability 팀에서 SRE(site reliability engineer)로 일하고 있는 천기철입니다. SRE 팀은 사용자에게 안정적이고...
Project Glasswing·Mythos Preview 공개의 의미, Opus 4.6 대비 정량 지표, 벤치마크 세대 전환, OpenBSD·FFmpeg·FreeBSD 사례, 방어자·개발자 인사이트를 한글로 정리합니다.
Server Engineer, 하성준 님
이 글은 Claude Code 에이전트에서 세션 캐시(claude-mem)와 외부 저장소(Vault KV·Milvus·Mem0)를 다양한 방식으로 조합한 메모리 계층 구성을 비교했습니다. 약 2,650회 실험으로 토큰 사용량·응답 시간·정확도를 측정하면서 메모리 계층 구성이 에이전트의 응답 비용과 품질에 어떤 영향을 주는지 다뤘습니다.
AI 에이전트를 프로덕션 수준으로 개발하는 것과 단순 데모를 만드는 것은 전혀 다른 문제입니다. 간단한 질의응답은 잘 작동하지만, 데이터 분석 후 리포트를 생성하는 것처럼 여러 단계를 거치는 실제 업무는 Context Window 한계, 성능 저하, 비용 증가 등의 벽에 부딪힙니다. 이러한 문제를 해결할 수 있는 방법으로 다양한 Context Engineering 기법들이 제안되고 있지만, 실제로 어떻게 적용해야 하는지는 여전히 […]
RAG 신뢰성 위기와 LLMOps의 필연성 RAG(Retrieval-Augmented Generation)는 기업용 AI 시스템에서 사실상 표준 구조로 자리 잡은 듯 보입니다. 외부 지식을 활용해 최신 정보를 반영할 수 있다는 점은 분명한 강점입니다. 그러나 동시에 새로운 과제도 함께 드러나고 있습니다. 검색 시스템의 불완전성과 LLM의 확률적 생성 방식이 결합되면서 결과의 품질을 일관되게 통제하기가 쉽지 않을 수 있기 때문입니다. 특히 금융이
Amazon Elastic Kubernetes Service(Amazon EKS) 환경에서 워크로드를 운영하다 보면, Pod의 OOMKilled 종료나 IP 고갈로 인한 생성 실패 등 다양한 장애 상황에 직면하게 됩니다. 이러한 장애가 발생하면 엔지니어는 Pod 로그 수집부터 Kubernetes Events 추적, 노드 시스템 로그 확인까지 반복적이고 시간 소모적인 트러블슈팅 과정을 거쳐야 합니다. 특히 야간이나 주말에는 대응 시간이 길어지고,
OK캐쉬백 복지 포인트 서비스 개발기: 보안, 대용량 처리, 그리고 현실적인 선택들 들어가며 OK캐쉬백 포인트의 활용 가치를 확장하고, 사용자에게 다양한 혜택을 제공하기 위해 복지 포인트 사업을 추진하게 되었습니다. OK…
AI 업무 툴은 이미 많은 직장인들의 일상에 자연스럽게 스며들었습니다. 회의록 정리, 메일 작성, 일정 관리처럼 반복적으로 발생하는 업무들도 이제는 몇 번의 입력만으로 빠르게 처리할 수 있게 되었죠. ⚡ 이처럼 AI 업무 툴이 확산되면서 업무 환경도 달라지고 있습니다. 직장인이 하루 중 많은 시간을 쓰는 '업무를 위한 업무', 즉 자료를 찾고, 맥락을 맞추고, 정리하고, 공유하는 과정이 줄어들고, 그만큼 본래 집중해야 할 주업무에 더 많은 시간
페이지 6 / 28 (총 489개)
