LLM 글 모음

인포그랩

2026-07-15 · 4일 전

같은 코드를 리뷰시켜도 판정이 매번 달라지는 이유는 LLM의 비결정성 때문입니다. temperature를 0으로 내려도 흔들림은 남습니다. 코드 위임·폭 좁히기·다수결·하네스로 LLM 판정의 일관성을 높이는 네 가지 방법을, 총 55회 호출 실험 결과와 함께 정리했습니다.

AWS

2026-07-11 · 8일 전

들어가며 “프롬프트를 바꿨는데, 정말 더 나아진 걸까?” 생성형 AI 애플리케이션을 개발하는 엔지니어라면 누구나 한 번쯤 마주치는 질문입니다. 프롬프트 한 줄을 수정하거나 모델을 교체할 때마다 품질이 좋아졌는지 확신하기 어렵고, 여러 모델을 두고 어느 쪽이 서비스에 더 맞는지 판단하려면 같은 질문을 양쪽에 던져 결과를 일일이 눈으로 비교해야 합니다. 문제는 대규모 언어 모델(Large Language Model, 이하 LLM)이 비결정적(non

라인

2026-06-24 · 25일 전

LY Corporation의 기술 컨퍼런스인 Tech-Verse 2026의 공식 기사입니다.대규모 언어 모델(large language model, 이하 LLM)의 물리적 입력 한...

인포그랩

2026-06-17 · 약 1개월 전

LLM에 정확한 정보와 도구를 제대로 쥐여 주면 더 높은 품질의 n8n 워크플로를 생성할 수 있습니다. 이 글은 LLM의 작업 환경 전체를 설계하는 접근 방식인 '하네스(Harness)'를 만들어 실험한 내용을 다뤘습니다. 같은 모델과 같은 요청을 두고 하네스 수준만 바꿨을 때 모델이 생성한 n8n 워크플로 품질이 어떻게 달라지는지 소개합니다.

네이버

2026-06-11 · 약 1개월 전

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2026(5월)에서 발표되었던 세션을 공개합니다. 발표 내용 LLM 추론 성능을 극대화하기 위한 최신 기술들(KV Cache 인지 라우팅, Prefix Cache, 분산 멀티노드 서빙 등)을 Kubernetes 프로덕션 환경에 도입하는 과정에서 기존 인프라 스택(Istio 서비스 메시, 스케줄러, Pod 보호 정책)과 충돌하며 발생한 실전 문제들을 어떻게 진단하고 해결했는지

AWS

2026-06-11 · 약 1개월 전

들어가며 LLM 기반 에이전트를 프로덕션으로 옮기는 순간, 모든 팀이 한 번쯤 마주치는 질문이 있습니다. “에이전트가 다른 사용자의 데이터를 노출하지 않는다는 걸 어떻게 보장할 수 있나요?” 주문 내역, 의료 기록, 사내 문서, 금융 거래 – 도메인이 무엇이든 질문의 본질은 같습니다. 이 문제를 해결하기 위해 많은 팀이 처음에는 시스템 프롬프트로 해결하려고 합니다. 보안 규칙: - 사용자에게 내부 […]

교보DTS

2026-05-29 · 약 2개월 전

최근 AI 개발의 흐름은 단순한 “질문과 답변”을 넘어, 스스로 작업을 계획하고 도구를 사용하며 결과물을 만들어내는 AI 에이전트(Agent) 중심으로 빠르게 이동하고 있습니다. 과거에는 “프롬프트를 어떻게 잘 쓰느냐”가 중요했다면, 이제는 “AI가 실제 업무 환경에서 얼마나 안정적으로 일하게 만들 수 있느냐”가 더 중요한 과제가 되고 있습니다. 아무리 성능이 뛰어난 LLM이라도, 어떤 파일을 읽어야 하는지, 어떤 도구를 사용해도 되는지, …

하이퍼엑셀

2026-05-28 · 약 2개월 전

HBF에게 적합한 자리는 분명히 있습니다. 하지만 memory hierarchy 피라미드에 들어가기 위해서는 아직 부족한 점이 많습니다. 최신 LLM 모델 및 추론 워크로드 트렌드, 그리고 Flash memory의 LLM 사용 방식을 살펴보며 HBF의 남은 과제와 극복 방안에 대해 살펴봅니다.

데보션

2026-05-27 · 약 2개월 전

정확하게 답하는 능력만큼 중요한, 답하지 않을 줄 아는 능력 이 글은 사내 본부 세미나에서 다룬 두 편의 논문 — AbstentionBench(Kirichenko et al., FAIR at Meta, arXiv:2...

마켓컬리

2026-05-20 · 약 2개월 전

도메인 지식을 LLM에게 먹이는 방법 — Inverted Index, 본문 임베딩, 요약 임베딩+FTS 세 가지 시도와 두 번의 갈아엎기

채널톡

2026-05-14 · 2개월 전

Auto Research 기법을 활용한 LLM 기반 자율 성능 개선 시스템 구축 여정

교보DTS

2026-04-30 · 3개월 전

최근 대형 언어 모델(LLM)을 실제 서비스에 도입하려는 기업들의 가장 큰 고민은 ‘환각(Hallucination)’ 현상입니다. 이를 해결하기 위해 외부 데이터를 참조하는 RAG(검색 증강 생성) 기술이 표준처럼 자리 잡았습니다. 하지만 단순한 문서 검색만으로는 복잡한 추론이나 정확한 관계 파악에 한계가 있습니다. 이러한 RAG의 한계를 돌파하고, AI에게 인간 수준의 논리적이고 구조화된 지식을 제공하기 위해 다시금 주목받고 있는 개념이 바로

아임웹

2026-04-24 · 3개월 전

범용 LLM 래퍼를 7.5주 만에 전사 필수 도구로 만든 구조 — 멀티에이전트 검증, Hybrid RAG, 이중 메모리

AWS

2026-04-07 · 3개월 전

“개발자들이 AI 코딩 도구를 쓰고 싶다고 합니다. 보안팀에서 허용해도 될까요?” 이 질문은 이제 대부분의 엔터프라이즈 IT 리더가 마주하는 현실입니다. AI 코딩 도구의 생산성 향상 효과는 분명하지만, 기업 환경에서는 단순히 도구를 허용하는 것만으로 충분하지 않습니다. 누가, 얼마나 사용하는지 추적할 수 있어야 하고, 사용자별 예산을 제한할 수 있어야 하며, 조직의 기존 인증 체계와 통합되어야 합니다. Claude Code는 […]

교보DTS

2026-04-01 · 4개월 전

RAG 신뢰성 위기와 LLMOps의 필연성 RAG(Retrieval-Augmented Generation)는 기업용 AI 시스템에서 사실상 표준 구조로 자리 잡은 듯 보입니다. 외부 지식을 활용해 최신 정보를 반영할 수 있다는 점은 분명한 강점입니다. 그러나 동시에 새로운 과제도 함께 드러나고 있습니다. 검색 시스템의 불완전성과 LLM의 확률적 생성 방식이 결합되면서 결과의 품질을 일관되게 통제하기가 쉽지 않을 수 있기 때문입니다. 특히 금융이