RAG 기반 AI 서비스의 신뢰성을 확보하는 방법: 자동화 평가 체계 및 운영 최적화
RAG 신뢰성 위기와 LLMOps의 필연성 RAG(Retrieval-Augmented Generation)는 기업용 AI 시스템에서 사실상 표준 구조로 자리 잡은 듯 보입니다. 외부 지식을 활용해 최신 정보를 반영할 수 있다는 점은 분명한 강점입니다. 그러나 동시에 새로운 과제도 함께 드러나고 있습니다. 검색 시스템의 불완전성과 LLM의 확률적 생성 방식이 결합되면서 결과의 품질을 일관되게 통제하기가 쉽지 않을 수 있기 때문입니다. 특히 금융이
AI/MLLLMMLOpsPerformanceRAG
코딩 에이전트를 활용한 취약점 수집·생성 자동화로 가드레일 모델 고도화
LLM 시대의 보호 장치, 가드레일LLM 기반 서비스가 빠르게 확산되면서 LLM 모델의 응답을 공격자가 의도대로 ‘조종’하려는 시도도 함께 늘고 있습니다. 특히 다음과 같은 공격 ...
AI AgentAI/MLLLMSecurity
우아한 형제들
2026-03-20 · 4개월 전
별점 뒤에 숨겨진 리뷰의 온도, LLM으로 한 끗 차이가 다른 추천 만들기
추천프로덕트팀은 데이터 기반의 추천 알고리즘과 정교한 탐색 설계를 통해 사용자가 고민 없이 최적의 맛집을 발견하도록 돕는 조직입니다. 여기에 LLM과 다양한 AI 모델을 활용해 실질적인 서비스 문제를 해결하는 AI프로덕트팀이 긴밀하게 호흡을 맞췄습니다. 이번에 소개할 내용은 위 두 팀이 협업하여 고객의 맛집 탐색 고민을 성공적으로 덜어낸 프로젝트에 대한 이야기입니다. 서비스 내에 가득한 별점 5점 리뷰들 사이에서 진짜 […] The post 별
AI/MLData AnalysisLLMRecommendation
월 150만 유저가 사용하는 LLM Inference 인프라 안정적으로 운영하기
DevOpsInfraLLM
엔터프라이즈 LLM 서비스 구축기 2: 에이전트 엔지니어링
들어가며지난 엔터프라이즈 LLM 서비스 구축기 1: 컨텍스트 엔지니어링에서는 260개의 도구와 수백 페이지의 문서를 다루는 환경에서 LLM에게 필요한 정보만 골라서 제공하는 '점진...
AI AgentAI/MLBackendData EngineeringLLM
OpenClaw와 MoltBook로 살펴보는 2026년 에이전틱 AI 기술 동향
이 글은 스스로 목표를 세우고 실행까지 수행하는 에이전틱 AI의 구조와 동작 방식을 쉽게 정리합니다. 특히 OpenClaw 사례를 통해 LLM이 로컬 환경을 직접 제어하는 온디바이스 자율 에이전트 구조에 대해 구체적으로 설명합니다. 또한 AI 에이전트끼리 상호작용하는 새로운 플랫폼 모델(MoltBook)을 소개하며, 인간 중심 서비스와 다른 지점을 짚습니다. 나아가 외부 스킬 생태계 분석을 통해 실제로 발생할 수 있는 보안 위협 유형도 함께 다
AI AgentAI/MLLLMSecurityTools
Transformer World: LLM의 기본 구조 뜯어보기
Transformer 기반 LLM의 내부 구조를 단계별로 살펴보고, Token Embedding·Attention·LM Head 등 각 모듈의 의미와 KV Cache·MHA·GQA 등 최적화 기법을 정리합니다.
AI/MLLLMMLOpsPerformanceTools
쏘카 디자인 시스템 2.0 개발기 2편: 기술로 굴리기(웹)
아키텍처·번들·LLM 활용 기록
ArchitectureFrontendLLM
쏘카 디자인 시스템 2.0 개발기 2편: 기술로 굴리기(웹)
목차 개요 컴포넌트 아키텍처 설계 목적 Hook과 객체 합성 컴포넌트와 명령형 API 패키지 전략 트리쉐이킹 AI 활용 Instructions Figma MCP with LLM 후기 공식문서 1. 개요 안녕하세요 쏘카 개발자 아놀드입니다. 이 글은 쏘카 디자인 시스템 2.0 개발기 2편으로, 컴포넌트 아키텍처/패키지 전략/LLM(Large Language Model) 활용에 대해 작성하였습니다. 1편에서는 시스템 설계, 운영 프로세스, Figm
AI/MLDesign SystemFrontendLLMReact
스캐터랩이 가장 재밌는 LLM을 찾는 방법
실제 제품에서 유저 반응으로 LLM 평가하기: A/B 테스트·MAB·리더보드
AI/MLLLMTesting
삼성 기술 블로그
2026-02-05 · 6개월 전
생성형 AI와 빅데이터의 만남: 에이전틱 AI로 진화하는 Big Data Assistant
삼성전자의 사내 데이터 분석 서비스인 Big Data Assistant(BDA)에서 어떻게 LLM을 활용해 자연어 기반 분석 서비스를 구축했는지 소개하고, BDA를 에이전틱 AI로 진화시키며 겪은 기술적 고민과 해결책을 나눕니다.
AI AgentAI/MLData AnalysisData EngineeringLLM
네이버 클라우드 플랫폼
2026-01-29 · 6개월 전
[클로바 스튜디오 Cookbook] LLM을 위한 PDF-to-Markdown 문서 전처리 가이드
RAG 성능에 있어 문서 전처리는 핵심적인 요소 중 하나입니다. Markdown은 LLM이 구조를 이해하기 쉬운 포맷으로, 토큰 효율과 응답 안정성 측면에서 장점이 있습니다. 이번 쿡북에서는 PDF를 Markdown으로 바꿔 LLM 친화적인 입력을 만드는 방법을 정리합니다. LLM 애플리케이션의 성능은 모델뿐만 아니라 주입되는 데이터의 품질, 즉 전처리에도 큰 영향을 받습니다. 특히 문서를 참고하여 답변을 생성해야 하는 RAG(검색 증강 생성)
AI/MLLLMRAG
네이버 클라우드 플랫폼
2026-01-27 · 6개월 전
2026 콘진원 문화체육관광 연구개발사업 READY PACK
안녕하세요, 누구나 쉽게 시작하는 클라우드 네이버클라우드 ncloud.com입니다. ✨✨✨ 2026년, 문화체육관광부와 한국콘텐츠진흥원이 총 3년, 1,700억 원 규모의 문화체육관광 연구개발사업(지정공모) 신규 과제를 본격 추진합니다. AI, XR, LLM, 콘텐츠 제작 자동화, 문화공간 AX 전환까지, 이번 공고는 “아이디어 + 기술력 + 사업화 가능성”을 동시에 요구하는데요. 정말 기쁜 소식이지만, 주관 기업의 입장에서 고민되는 부분이 하
AI/MLBackendCultureLLMTools
클라우드메이트
2026-01-26 · 6개월 전
AI 검색 최적화를 위한 LLMS.txt 적용
LLMS.txt
AI/MLLLMPerformance
한컴 성장사이 ②: 2025년을 마무리하는 시간, 개발자 페스티벌
이 글은 한글과컴퓨터의 개발 문화 ‘성장사이’ 두 번째 이야기로, 2025년 말에 진행된 개발자 페스티벌의 기획 배경과 운영 과정, 그리고 현장의 분위기를 정리한 후기입니다. 행사의 목적과 의미를 소개하며, 외부 초청 강연을 통한 기술 인사이트 공유와 내부 구성원 참여 중심 프로그램으로 구성된 전체 흐름을 설명합니다. AI 시대 개발자의 역할을 다룬 강연, 한 해의 주요 성과 공유, LLM 기반 기술 세션, 개발문화 우수상 시상 등 주요 프로그
AI/MLBackendCultureLLMTools
AI가 만들어주는 나만의 목소리(SK AI SUMMIT 발표사례)
본 글에서는 2025년 11월 4일(화)에 열린 SK AI SUMMIT 2025 행사 둘째날 Special Session에서 당사 김우주 매니저가 발표한 SK플래닛의 AI를 활용한 Voice Conversion 기술을 소개합니다. AI Voice? Large Language Model과 Generative Model(Diffusion, flow-based…
AI/MLLLM
SGLang paper review
SGLang의 철학 LLM이 도입된 이후, LLM은 문제 해결, 코드 작성, 질문 답변 등 다양한 분야에서 복잡한 작업을 해결하는 데 사용되어 왔습니다. 오늘날 LLM은 에이전트 능력을 확장하여 인간의 개입 없이 사용자가 요청한 작업을 완료하고 있습니다. 이를 위해서는 skeleton of thought나 tree of thought와 같은 다양한 프롬프팅 기법이 필요합니다. 즉, 우리는 LLM이 특정 패턴을 따르도록 구조화하여 우리의 요구에
AI AgentAI/MLLLMMLOpsTools
Pytorchcon 2025 참관기
PyTorch Conference 2025 참관기 Introduction 안녕하세요? HyperAccel ML팀 Lead 박민호입니다. 지난 10월 22일~23일에 샌프란시스코에서 열렸던 PyTorch Conference 2025에 다녀와서 보고 느낀 점을 공유하려고 합니다. HyperAccel 소개 저희 HyperAccel은 Large Language Model (LLM)을 효율적으로 추론하는 AI Chip을 설계하는 회사입니다. 현재 FPG
AI/MLLLMMLOpsPerformanceTools