AI 시대의 필수 소비재, 메모리 이해하기 5편: CXL Workload 알아보기
KV cache offload, 메모리 풀링, 메모리 tiering을 통해 CXL이 실제 워크로드에서 어떻게 쓰이는지 살펴봅니다.
기업 기술블로그의 Performance 관련 글 655개
KV cache offload, 메모리 풀링, 메모리 tiering을 통해 CXL이 실제 워크로드에서 어떻게 쓰이는지 살펴봅니다.
네이버 플레이스 AI MLOps는 지난 1년간 검색과 추천에 사용하는 스코어링 모델의 서빙 구조를 vLLM 기반으로 전환했습니다. 이 글에서는 사내 Engineering Day에서 발표한 내용을 바탕으로, 모델 서빙 경로를 최적화해 성능을 높인 과정을 소개합니다. 먼저 결과부터 살펴보겠습니다. 0.6B 재순위화(reranking) 모델을 Hugging Face Transformer.encode로 서빙했을 때 처리량은 63.85 QPS였습니다.
세번째 CHANNEL DEVMEETUP, 이번 밋업은 Core Backend 팀과 함께 준비한 “DynamoDB Tech Talk”
격리 수준이 아니라 스냅샷 수명이 문제였습니다.
.ktc-poster img { transition: transform .3s ease, box-shadow .3s ease; } .ktc-poster:hover img { transform: translateY(-4px); box-shadow:0 10px 22px rgba(0,154,135,0.22) !important; } .imageblock img { max-width:100% !important; height:auto !importan
들어가며: 에이전트를 한 명이 만들던 시대의 끝 지난 1년 동안 많은 엔지니어가 자기만의 AI 에이전트를 만들어 봤습니다. CloudWatch 지표를 조회하는 작은 도구, EKS 클러스터 상태를 점검하는 스크립트, 장애 로그를 요약하는 프롬프트. LLM과 몇 개의 도구를 엮으면 놀랍도록 빠르게 동작하는 에이전트가 나옵니다. 여기까지는 한 사람의 생산성 향상 이야기입니다. 문제는 그다음입니다. 10명, 20명이 일하는 클라우드 운영 조직에서 […
안녕하세요, 포스타입 백엔드 엔지니어 장예훈이에요. 1부에서는 포스타입이 유저의 취향을 벡터로 표현하고, 그 벡터로 개인화 추천을 만들어 실제 구매까지 끌어올린 이야기를 했어요. 벡터 공간에서 가까운 포스트를 찾고, 나와 취향이 닮은 유저가 좋아한 걸 추천하고. 결과만 놓고 보면 꽤 매끄러운 여정처럼 보였을지도 모르겠습니다. 그런데 실제로는 전혀 그렇지 않았어요. 수백만 개의 벡터를 실시간으로 검색한다는 건, 만들고 나서가 진짜 시작이었거든요.
torch.compile의 세 구성 요소인 TorchDynamo, AOTAutograd, TorchInductor가 각각 어떤 원리로 동작하는지 설명합니다. 그래프의 개념부터 바이트코드 가로채기와 guard, graph break, 디스패처 하단에서의 연산 정규화, 원소 단위 IR과 코드 생성까지 다룹니다.
이 글은 AWS Physical AI Blog에 게시된 Training World Models on Scene Semantics, Not Pixels을 번역 및 편집한 글입니다. 사전학습된 AI 모듈과 고전 컴퓨터 비전을 조합하여, 도메인 데이터나 합성 프레임 없이 일반 단안(monocular) 영상에서 장면 의미론(scene semantics)을 추출하는 새로운 로봇 월드 모델 학습법을 소개합니다. 소개 오늘날 로봇 AI 학습은 어디를 가나
Intro 안녕하세요, 카카오의 AI 모델 개발을 담당하는 카나나(Kanana) 조직의 Martin(조대진), Abigail(박혜영), Edwin(강우영)입니다. 저희 팀에서는 사람처럼 보고, 듣고, 말하는 통합 멀티모달(Multimodal) 언어모델을 중점적으로 개발하고 있습니다. 지난 5월, 국내 최초로 공개한 통합 멀티모달 언어모델 공개 이후, 저희는 실제 서비스 환경에서 더 나은 사용자 경험을 제공하기 위해 계속해서 모델을 고도화하고 있
들어가며 아임웹은 2026년 7월 10일 새벽, Amazon ElastiCache 기반 운영 캐시들을 Redis 6.x/Valkey 7.2 에서 Valkey 9.1로 업그레이드했습니다. 대표 범용 캐시는 SSR(Server-Side Rendering) 경로와 여러 서비스 로직에서 반복적으로 조회되는 캐시로, 비교 구간 3.5시간 동안 7억 건 이상의 명령어를 처리했습니다. 업그레이드 이후 전날 동일 시간대 대비 전체 CPU는 86.6%, Eng
1편에서는 모델 규모에 맞는 GPU 인스턴스와 인터커넥트, 병렬화 전략, 그리고 모델 메모리 계산까지 ‘무엇을 고를까’를 다뤘습니다. 이번 2편에서는 그 선택을 수천 장 규모로 확장합니다. 수천에서 수만 개의 GPU를 하나의 학습으로 묶는 울트라클러스터와 울트라서버 아키텍처, 그리고 이런 고성능 인스턴스를 실제로 확보하는 ODCR 및 Capacity Block 전략을 다룹니다. 시리즈 블로그 보기 분산 학습을 위한 AWS 컴퓨트 선택 […]
서로 충돌하는 데이터는 어떻게 다룰까요? 최근 멀티모달 대규모 언어모델(MLLM)을 만드는 표준 레시피는 점점 더 큰 여러 종류의 지시 및 응답 데이터를 한데 섞은 학습 데이터인 'Instruction Mixture'를 활용한 후학습(Post-training)으로 자리잡고 있습니다. ✔️ 인식(Perception) ✔️ 추론(Reasoning) ✔️ OCR ✔️ 문서 이해 ✔️ 비디오 이해 등 모델이 수행해야 하는 능력이 다양해질수록, 학습에
LLM 환각 검출은 왜 중요할까요? LLM은 이제 질의응답부터 문서 작성, 블로그 콘텐츠 생성, 내용 요약까지 다양한 영역에서 자연스럽게 활용되고 있습니다. 모델의 답변은 점점 더 그럴듯하게 발전하고 있지만, 문제는 그것이 곧 사실성을 의미하지는 않는다는 점이죠. LLM이 생성한 글에는 ✔️ 실제로 존재하지 않는 사건 ✔️ 잘못된 인과관계 ✔️ 과거 문맥과 모순되는 주장 ✔️ 검증되지 않은 정보 등이 포함될 수 있는데요. 이러한 현상을 일반적으
페이지 9 / 37 (총 655개)