devBlog
본문 바로가기
devBlog.kr
포스트주간 인기글최근 본 글즐겨찾기(로그인 필요)프로필(로그인 필요)새로운 소식요청하기
devBlog.kr
포스트주간 인기글최근 본 글즐겨찾기(로그인 필요)프로필(로그인 필요)새로운 소식요청하기
devBlog

푸터 메뉴

탐색
  • 포스트
  • 태그별 보기
  • 기업별 보기
  • 주간 인기글
정보
  • 이용약관
  • 개인정보 처리방침

© 2026 devBlog.kr. All rights reserved.

·

v3.0.1

태그/LLM

LLM 글 모음

기업 기술블로그의 LLM 관련 글 109개

AWS 로고

AWS

2026-11-17

SGLang을 활용한 다국어 및 Multimodal Decision Model 구성하기

생성형 AI 트래픽의 절반은 판단 생성형 AI를 프로덕션에 도입한 조직의 LLM 호출을 들여다보면 두 종류가 섞여 있습니다. 하나는 진짜 생성입니다. 요약하고, 작성하고, 대화합니다. 다른 하나는 판단입니다. “이 요청은 어떤 카테고리인가”, “이 이미지는 어떤 상태인가”, “이 고객 문의는 어떤 조치가 필요한가”를 가리는 일입니다. 판단은 선택지 중 하나를 고르는 일이라 생성이 필요 없는데, 자연어와 이미지를 이해하는 도구가 […]

AI AgentAI/MLLLMMobileNLP
AWS 로고

AWS

2026-11-16

AWS에서 Laya를 통한 Decision Model 학습 및 배포 환경 구성하기

2026년 9월 TypeSafe AI가 공개한 Jev를 계기로, 텍스트를 생성하지 않고 판단 결과를 선택지별 확률로 돌려주는 Decision Model이 LLM을 대신하여 판단을 처리하는 옵션으로 등장했습니다. 이 글은 두 가지를 다룹니다. 하나는 오픈소스 Decision Model인 Laya를 Amazon SageMaker에서 추가 학습하고 실시간 엔드포인트로 배포해 호출하는 구성 가이드이고, 다른 하나는 동일한 판단을 구현하는 네 가지 방식

AI/MLAWSDevOpsLLMPython
교보DTS 로고

교보DTS

2026-11-12

LLM은 꼭 한 토큰씩 답해야 할까

AI 서비스에서 답변의 품질만큼 자주 체감하는 요소가 응답 속도입니다. 질문에 대한 답이 화면에 조금씩 나타나는 동안 사용자는 기다립니다. 여러 번 모델을 호출하는 에이전트에서는 이러한 대기가 작업 단계마다 반복됩니다. 더 빠른 응답을 만들려면 모델의 크기나 서버뿐 아니라 텍스트를 생성하는 방식도 살펴볼 필요가 있습니다. 확산형 언어모델(Diffusion Language Model, dLLM)은 여러 위치의 토큰을 병렬로 예측하고 반복적인 정제

AI AgentAI/MLLLMPerformance
퓨쳐인프라 로고

퓨쳐인프라

2026-11-08

컨텍스트 윈도우

컨텍스트 윈도우(context window)는 AI 모델이 한 번에 읽고 쓸 수 있는 글의 최대 양이에요. 토큰으로 세고, 요즘 큰 모델은 약 100만 토큰까지 받아요. 5만 자 글 속에 숨긴 단어를 앞·가운데·끝 어디에 둬도 찾아냈어요.

AI/MLLLMNLP
퓨쳐인프라 로고

퓨쳐인프라

2026-11-06

파인튜닝

파인튜닝(fine-tuning)은 이미 학습된 AI 모델에 내 예시 데이터를 더 가르쳐 말투·형식·특정 일을 몸에 배게 하는 방법이에요. 해 보기 전에 프롬프트에 예시 3개를 넣는 것만으로 형식 지킴이 0~1/5 에서 5/5 가 됐어요.

AI/MLLLMMLOps
퓨쳐인프라 로고

퓨쳐인프라

2026-11-04

멀티모달

멀티모달(multimodal)은 글뿐 아니라 사진·음성·영상처럼 여러 형태의 정보를 함께 알아듣고 다루는 AI 의 능력이에요. 그래프 그림 한 장을 4개 모델에 보여 주니 모두 정답을 맞혔고, 그림 값(토큰)은 모델마다 5배까지 달랐어요.

AI/MLLLMNLP
AWS 로고

AWS

2026-11-02

CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리

Amazon Bedrock부터 Claude Platform on AWS, 사내 오픈모델까지 하나의 엔드포인트로 연결해 통제는 강화하고 AI 사용은 멈추지 않도록 설계한 AWSome AI Gateway 기반 LLM Gateway 구축 여정 “문제는 모델이 아니라 통제입니다. 우리는 모든 LLM 호출을 한곳에서 관리하고 정책을 적용할 수 있도록 중앙 게이트웨이(Central Gateway)로 설계했습니다.” 1. 흩어진 LLM을 왜 하나로 모았을까

AI/MLAWSDevOpsInfraLLM
퓨쳐인프라 로고

퓨쳐인프라

2026-11-02

AI 토큰

AI 토큰은 AI 모델이 글을 읽고 쓸 때 쓰는 글 조각 단위이자 요금 단위예요. 같은 한국어 40자를 넣어 보니 모델에 따라 20토큰에서 42토큰까지, 두 배 차이가 났어요.

AI AgentAI/MLLLM
퓨쳐인프라 로고

퓨쳐인프라

2026-10-31

생성형 AI

생성형 AI 는 글·그림·목소리·영상처럼 세상에 없던 결과물을 새로 만들어 내는 AI 예요. 퓨쳐인프라 AI 목록에는 글 모델 400개, 그림 모델 56개가 있고, 그림 한 장을 만드는 데 39원이 들었어요.

AI AgentAI/MLLLM
퓨쳐인프라 로고

퓨쳐인프라

2026-10-31

LLM

LLM(대규모 언어 모델)은 아주 많은 글을 읽고 배워서, 앞 문장에 이어질 말을 만들어 내는 AI 예요. ChatGPT·클로드·제미나이 같은 서비스 안에서 돌아가는 엔진이에요.

AI/MLLLM
토스 로고

토스

2026-10-27

손가락 튕기기로 LLM 비용 줄이기

토스에서 늘어나는 LLM 비용을 빠르게 줄이는 방법을 소개합니다.

AI/MLLLM
라인 로고

라인

2026-10-26

Flava MCP Hub가 걸어온 길: AI 시대를 위한 배관 공사

들어가며"우리 서비스, 지금 어떤 상태야?"AI 에이전트에게 이렇게 물어보신 적 있으신가요? 아마 겉보기에는 그럴듯하지만 실제로 활용하기는 어려운 답이 돌아왔을 겁니다. LLM(l...

AI AgentAI/MLLLM
당근마켓 로고

당근마켓

2026-10-21

모델만 바꿨는데 LLM 비용이 3배가 된 이유

AI/MLLLM
하이퍼엑셀 로고

하이퍼엑셀

2026-10-21

LLM 추론 칩 검증 이야기 1편: 칩의 정답은 어디서 오는가

LLM 추론 칩 검증에서 정답의 출처를 다룹니다. IP 레벨은 스펙 문서를, Top 레벨은 AI 모델의 결과를 정답으로 삼는 이유와 각 비교 축이 잡아내는 오류를 설명합니다.

AI/MLArchitectureLLM
카카오 로고

카카오

2026-10-20

글로벌 최고 수준의 자체 비전 인코더, Kanana-2-vision-encoder 개발기

안녕하세요. 카카오 Multimodal Model Training팀에서 카나나를 연구·개발하는 Polar(엄지환)입니다. 카카오가 자체 기술력만으로 밑바닥부터(from scratch) 개발한 독자 비전 인코더, Kanana-2-vision-encoder를 소개합니다. Kanana-2-vision-encoder는 카카오 언어모델 Kanana-2 LLM[1]의 가중치와 구조를 활용해 학습과 추론 모두에서 높은 효율성을 자랑합니다. 또한, 고해상도

AI/MLBackendData EngineeringLLMPerformance
채널톡 로고

채널톡

2026-10-19

프론티어 모델 대신, 우리 모델이 모든 상담을 분석합니다

상담 분석 LLM을 자체 모델로 바꾸며, 비용은 99.4% 줄이고 성능은 상용 LLM보다 높인 이야기

AI/MLData AnalysisLLMPerformance
삼성 기술 블로그 로고

삼성 기술 블로그

2026-10-19

JEV의 판정 계약을 사내 LLM에 적용하기

분류와 등급 산정까지 채팅 모델에 텍스트로 요청하면 파싱과 재시도 같은 추가 작업이 발생합니다. 본 글에서는 이러한 문제를 해결하고자 JEV의 질문과 답 형식을 LLM Gateway의 판정 API로 구현하여 사내 소형 LLM에 짧은 결정을 맡긴 경험을 공유합니다. 출력 간소화 실험을 통해 항목당 지연 시간을 1,534ms에서 804ms로 단축한 과정과, CodeReviewWar에서 라벨 오류로 탈락한 지적 사항만 재판정하는 기능을 적용한 사례를

AI/MLBackendLLMPerformancePython
카카오 로고

카카오

2026-10-01

데이터 분석 에이전트를 만들며 배운 컨텍스트 설계

LLM 에이전트는 목표를 받으면 필요한 정보를 찾고 적절한 도구를 선택해 실행하며, 그 결과를 관찰한 뒤 다음 행동을 결정합니다. Anthropic은 에이전트를 활용한 여러 실험을 공개했습니다. Claude Sonnet 4.5로 Claude.ai를 재현하는 실험 과 Claude Opus 4.6 기반 에이전트가 Rust로 Linux 6.9 커널을 빌드할 수 있는 C 컴파일러를 개발한 사례를 소개했습니다. 이처럼 모델의 성능이 높아지면서 에이전트가

AI AgentAI/MLData AnalysisLLMPerformance
12345

페이지 1 / 7 (총 109개)