AI Infra Summit 2026: 늘어나는 AI 추론 비용, LPU가 제시하는 새로운 해법
AI Infra Summit 2026에 골드 스폰서로 참가한 HyperAccel의 현장 기록입니다. CEO 발표, BERTHA 라이브 데모, 글로벌 고객과의 만남과 AI 추론 시장의 트렌드를 정리했습니다.
총 40개 글 · 원본 블로그 방문 →
AI 반도체·LLM 가속 기업 하이퍼엑셀의 기술 블로그
AI Infra Summit 2026에 골드 스폰서로 참가한 HyperAccel의 현장 기록입니다. CEO 발표, BERTHA 라이브 데모, 글로벌 고객과의 만남과 AI 추론 시장의 트렌드를 정리했습니다.
PyTorch Conference 2026 참관기입니다. 늘어나는 기여를 검증하기 위한 CI와 리팩토링, C++ FakeTensor 등 torch.compile 개선, vLLM의 추론 최적화, 그리고 Huawei Ascend와 IBM Spyre 등 NPU 회사들이 도구를 만들어 PyTorch 생태계에 합류하는 과정을 정리합니다.
현대 분산 스토리지 오픈소스 중 가장 널리 사용되고 있는 Ceph의 근본, CRUSH 알고리즘부터 뜯어봅시다.
LLM 추론 칩 검증에서 정답의 출처를 다룹니다. IP 레벨은 스펙 문서를, Top 레벨은 AI 모델의 결과를 정답으로 삼는 이유와 각 비교 축이 잡아내는 오류를 설명합니다.
계산들을 자유롭게 묶고 다시 조립하려면 어떤 법칙이 필요할까요? 직접 만든 합성을 범주라는 수학적 구조로 읽어 봅니다.
torch.compile을 세 단계로 나눈 이유를 생태계 관점에서 설명합니다. PyTorch가 파이썬처럼 쉽게 쓸 수 있는 방식으로 사람을 모은 과정과 2.0 이후의 확장 흐름을 짚고, Dynamo, AOTAutograd, Inductor 각 단계의 출력을 TensorRT, OpenVINO, XLA 같은 컴파일러 백엔드, torch.export, GPU와 새로운 AI 칩이 어떻게 활용하는지 정리합니다. Huawei Ascend, Intel Ga
값이 없을 수 있는 계산을 연결하며, 모나드로 이어지는 첫 번째 합성 규칙을 만들어 봅니다.
AI로 AI를 돌리는 칩을 만드는 시대가 도래했습니다. AI 회사인 OpenAI의 자체칩 할라피뇨의 공개된 정보들을 바탕으로 이를 알아봅니다.
KV cache offload, 메모리 풀링, 메모리 tiering을 통해 CXL이 실제 워크로드에서 어떻게 쓰이는지 살펴봅니다.
torch.compile의 세 구성 요소인 TorchDynamo, AOTAutograd, TorchInductor가 각각 어떤 원리로 동작하는지 설명합니다. 그래프의 개념부터 바이트코드 가로채기와 guard, graph break, 디스패처 하단에서의 연산 정규화, 원소 단위 IR과 코드 생성까지 다룹니다.
Agentic AI 워크로드에서 CPU가 추론 인프라의 병목이 된 원인을 분석하고 CPU 3사의 최신 데이터센터향 CPU 라인업을 분석해보며 Agentic AI 시대에 다시 떠오른 CPU의 중요성에 대해 알아봅니다.
LPU를 위한 HyperAccel의 프로그래밍 모델이자 컴파일러 스택인 Legato를 소개하며, 이것이 무엇이고 왜 존재하며 어떻게 설계되었는지 다룹니다.
AI 코딩 에이전트는 코드를 쓰는 방식만 바꾸지 않았습니다. SSH, Termux, Kubernetes pod, 원격 머신 위에서 일이 시작되는 방식까지 바꾸고 있습니다.
CXL(Compute Express Link)의 등장 배경, CXL.io/.cache/.mem 세 가지 sub-protocol, Type 1/2/3 디바이스 분류, 1.1부터 3.x까지의 표준 진화, 그리고 삼성·SK하이닉스·마이크론의 CXL 메모리 제품군을 기술적으로 분석합니다.
HBF에게 적합한 자리는 분명히 있습니다. 하지만 memory hierarchy 피라미드에 들어가기 위해서는 아직 부족한 점이 많습니다. 최신 LLM 모델 및 추론 워크로드 트렌드, 그리고 Flash memory의 LLM 사용 방식을 살펴보며 HBF의 남은 과제와 극복 방안에 대해 살펴봅니다.
SK하이닉스의 H³ 아키텍처를 중심으로, HBF의 약점을 극복할 수 있는 워크로드를 탐색합니다.
OpenAI와의 대형 계약 보도로 주목받은 Cerebras의 최근 근황과 WSE-3 아키텍처, 웨이퍼 스케일 칩의 장단점을 비전공자도 이해할 수 있게 정리합니다.
SRAM, DRAM, HBM, NAND의 셀 구조와 물리적 특성을 설명하고, HBF(High Bandwidth Flash)가 메모리 계층에서 어떤 빈 자리를 채우는지 기술적으로 분석합니다.
페이지 1 / 3 (총 40개)