LLM의 thinking_token_budget은 어떤 역할을 하는가?
안녕하세요. teus입니다. 이번 포스팅은, opencode 등의 LLM에서 설정할 수 있는 thinking_token_budget에 대해서 다룹니다. 0. Effort opencode나 claude code의 설정...
devBlog
LLM 글 모음
기업 기술블로그의 LLM 관련 글 80개
한화솔루션의 Amazon Bedrock 기반 Claude Cowork 전사 도입 여정 — 사내 LLM Gateway로 완성한 거버넌스
이 블로그는 한화솔루션 분석/AI팀과 AWS의 협업으로 작성되었습니다 한화솔루션은 사내 임직원과 개발자가 Claude 기반 도구(Claude Cowork, Claude Code)를 안전하고 통제 가능한 방식으로 사용할 수 있도록, Amazon Bedrock 위에 단일 사내 LLM Gateway를 구축했습니다. 특히 Claude Cowork를 AWS 기반으로 전사에 안정 배포한 것은 국내 첫 사례입니다. 이 게이트웨이는 계열사별로 분리된 여러 인
[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩
.ktc-poster img { transition: transform .3s ease, box-shadow .3s ease; } .ktc-poster:hover img { transform: translateY(-4px); box-shadow:0 10px 22px rgba(0,154,135,0.22) !important; } .imageblock img { max-width:100% !important; height:auto !importan
[클로바 시선 #56] 충돌은 나누고, 성능은 합치다: 효율적인 LLM Post-training 전략 MERIT
서로 충돌하는 데이터는 어떻게 다룰까요? 최근 멀티모달 대규모 언어모델(MLLM)을 만드는 표준 레시피는 점점 더 큰 여러 종류의 지시 및 응답 데이터를 한데 섞은 학습 데이터인 'Instruction Mixture'를 활용한 후학습(Post-training)으로 자리잡고 있습니다. ✔️ 인식(Perception) ✔️ 추론(Reasoning) ✔️ OCR ✔️ 문서 이해 ✔️ 비디오 이해 등 모델이 수행해야 하는 능력이 다양해질수록, 학습에
Grafana에서 자연어로 장애 원인을 분석하기: LLM 에이전트 기반 SRELens 개발기
들어가며: 관측성 데이터는 많아졌지만, 분석은 여전히 어렵습니다안녕하세요. LY Corporation에서 Home 서비스의 안정성을 책임지고 있는 Home SRE(Site Reli...
LLM은 똑똑한데, 왜 우리 회사 일은 모를까
문서 · 코드 · 사내 메신저에 흩어진 정보를, 믿고 쓸 수 있는 컨텍스트로 만드는 여정
[클로바 시선 #54] 환각은 흔적을 남긴다: Future Context 기반 LLM 환각 검출
LLM 환각 검출은 왜 중요할까요? LLM은 이제 질의응답부터 문서 작성, 블로그 콘텐츠 생성, 내용 요약까지 다양한 영역에서 자연스럽게 활용되고 있습니다. 모델의 답변은 점점 더 그럴듯하게 발전하고 있지만, 문제는 그것이 곧 사실성을 의미하지는 않는다는 점이죠. LLM이 생성한 글에는 ✔️ 실제로 존재하지 않는 사건 ✔️ 잘못된 인과관계 ✔️ 과거 문맥과 모순되는 주장 ✔️ 검증되지 않은 정보 등이 포함될 수 있는데요. 이러한 현상을 일반적으
더 작고 강해진 Kanana SLM 개발
안녕하세요. 카카오의 AI 모델 개발을 담당하는 카나나 LLM 조직에서 언어모델을 개발하고 있는 Kaya, Ryan, Wavy 입니다. 지난 “작지만 강한 Kanana Nano 효율적으로 개발하기”에서 비용 효율적으로 SLM(Small Language Model)을 개발하는 방법에 대해서 소개드렸었는데요, 이번 글에서는 더 강력해져서 돌아온 카카오의 두 번째 SLM 시리즈를 소개드리고자 합니다. 이번에 소개해드릴 모델은 Kanana-2-3B,
분산 학습을 위한 AWS 컴퓨트 선택 가이드 (1편: 모델 규모와 하드웨어 선택)
대규모 언어 모델(LLM) 학습을 준비하는 팀이 가장 먼저 부딪히는 질문은 결국 “어떤 GPU를 얼마나, 어떻게 확보할 것인가”로 귀결됩니다. 그러나 이 질문은 H100이냐 B200이냐를 고르는 단순한 하드웨어 선택으로 끝나지 않습니다. 하나의 노드로 충분한지, 아니면 여러 노드로 확장해야 하는지, On-Demand로 그때그때 띄울지, Capacity Block으로 미리 예약할지, 평범한 EC2 클러스터로 감당이 되는지, 아니면 Amazon E
AI 코드 리뷰 자동화, 판정은 왜 흔들릴까? 원인과 해결법 4가지
같은 코드를 리뷰시켜도 판정이 매번 달라지는 이유는 LLM의 비결정성 때문입니다. temperature를 0으로 내려도 흔들림은 남습니다. 코드 위임·폭 좁히기·다수결·하네스로 LLM 판정의 일관성을 높이는 네 가지 방법을, 총 55회 호출 실험 결과와 함께 정리했습니다.
Amazon Bedrock 모델 promptfoo 로 성능 평가하기
들어가며 “프롬프트를 바꿨는데, 정말 더 나아진 걸까?” 생성형 AI 애플리케이션을 개발하는 엔지니어라면 누구나 한 번쯤 마주치는 질문입니다. 프롬프트 한 줄을 수정하거나 모델을 교체할 때마다 품질이 좋아졌는지 확신하기 어렵고, 여러 모델을 두고 어느 쪽이 서비스에 더 맞는지 판단하려면 같은 질문을 양쪽에 던져 결과를 일일이 눈으로 비교해야 합니다. 문제는 대규모 언어 모델(Large Language Model, 이하 LLM)이 비결정적(non
시멘틱 컨텍스트 OS 설계: 에이전트 시스템의 토큰 스터핑을 넘어
LY Corporation의 기술 컨퍼런스인 Tech-Verse 2026의 공식 기사입니다.대규모 언어 모델(large language model, 이하 LLM)의 물리적 입력 한...
LLM·하네스로 더 좋은 n8n 워크플로 생성하기
LLM에 정확한 정보와 도구를 제대로 쥐여 주면 더 높은 품질의 n8n 워크플로를 생성할 수 있습니다. 이 글은 LLM의 작업 환경 전체를 설계하는 접근 방식인 '하네스(Harness)'를 만들어 실험한 내용을 다뤘습니다. 같은 모델과 같은 요청을 두고 하네스 수준만 바꿨을 때 모델이 생성한 n8n 워크플로 품질이 어떻게 달라지는지 소개합니다.
MLXP : Kubernetes LLM Serving 최적화 기술 도입기
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2026(5월)에서 발표되었던 세션을 공개합니다. 발표 내용 LLM 추론 성능을 극대화하기 위한 최신 기술들(KV Cache 인지 라우팅, Prefix Cache, 분산 멀티노드 서빙 등)을 Kubernetes 프로덕션 환경에 도입하는 과정에서 기존 인프라 스택(Istio 서비스 메시, 스케줄러, Pod 보호 정책)과 충돌하며 발생한 실전 문제들을 어떻게 진단하고 해결했는지
프롬프트 인젝션 방어: AgentCore 기반 다층 보안 설계 패턴
들어가며 LLM 기반 에이전트를 프로덕션으로 옮기는 순간, 모든 팀이 한 번쯤 마주치는 질문이 있습니다. “에이전트가 다른 사용자의 데이터를 노출하지 않는다는 걸 어떻게 보장할 수 있나요?” 주문 내역, 의료 기록, 사내 문서, 금융 거래 – 도메인이 무엇이든 질문의 본질은 같습니다. 이 문제를 해결하기 위해 많은 팀이 처음에는 시스템 프롬프트로 해결하려고 합니다. 보안 규칙: - 사용자에게 내부 […]
유저와 함께 만드는 LLM 2편 — 제타에 Online Learning 도입하기
AI 에이전트를 안전하게 움직이게 하는 설계도, ‘하네스 엔지니어링(Harness Engineering)’
최근 AI 개발의 흐름은 단순한 “질문과 답변”을 넘어, 스스로 작업을 계획하고 도구를 사용하며 결과물을 만들어내는 AI 에이전트(Agent) 중심으로 빠르게 이동하고 있습니다. 과거에는 “프롬프트를 어떻게 잘 쓰느냐”가 중요했다면, 이제는 “AI가 실제 업무 환경에서 얼마나 안정적으로 일하게 만들 수 있느냐”가 더 중요한 과제가 되고 있습니다. 아무리 성능이 뛰어난 LLM이라도, 어떤 파일을 읽어야 하는지, 어떤 도구를 사용해도 되는지, …
LLM은 모델보다 하네스가 먼저다: 만득이 한 달 수습기
페이지 1 / 5 (총 80개)