AI 시대의 필수 소비재, 메모리 이해하기 5편: CXL Workload 알아보기
KV cache offload, 메모리 풀링, 메모리 tiering을 통해 CXL이 실제 워크로드에서 어떻게 쓰이는지 살펴봅니다.
devBlog
하이퍼엑셀 기술 블로그
총 32개 글 · 원본 블로그 방문 →
AI 반도체·LLM 가속 기업 하이퍼엑셀의 기술 블로그
torch.compile 해부 1편: TorchDynamo, AOTAutograd, TorchInductor
torch.compile의 세 구성 요소인 TorchDynamo, AOTAutograd, TorchInductor가 각각 어떤 원리로 동작하는지 설명합니다. 그래프의 개념부터 바이트코드 가로채기와 guard, graph break, 디스패처 하단에서의 연산 정규화, 원소 단위 IR과 코드 생성까지 다룹니다.
지피지기면 백전불태 6편 : Agentic AI 시대, CPU의 부활과 CPU 삼국지의 시작
Agentic AI 워크로드에서 CPU가 추론 인프라의 병목이 된 원인을 분석하고 CPU 3사의 최신 데이터센터향 CPU 라인업을 분석해보며 Agentic AI 시대에 다시 떠오른 CPU의 중요성에 대해 알아봅니다.
Legato: HyperAccel LPU를 위한 프로그래밍 언어
LPU를 위한 HyperAccel의 프로그래밍 모델이자 컴파일러 스택인 Legato를 소개하며, 이것이 무엇이고 왜 존재하며 어떻게 설계되었는지 다룹니다.
터미널로 돌아가자: 에이전트가 원격 개발을 자연스럽게 만든 방식
AI 코딩 에이전트는 코드를 쓰는 방식만 바꾸지 않았습니다. SSH, Termux, Kubernetes pod, 원격 머신 위에서 일이 시작되는 방식까지 바꾸고 있습니다.
AI 시대의 필수 소비재, 메모리 이해하기 4편: CXL 이해하기
CXL(Compute Express Link)의 등장 배경, CXL.io/.cache/.mem 세 가지 sub-protocol, Type 1/2/3 디바이스 분류, 1.1부터 3.x까지의 표준 진화, 그리고 삼성·SK하이닉스·마이크론의 CXL 메모리 제품군을 기술적으로 분석합니다.
AI 시대의 필수 소비재, 메모리 이해하기 3편: HBF가 풀어야 할 과제
HBF에게 적합한 자리는 분명히 있습니다. 하지만 memory hierarchy 피라미드에 들어가기 위해서는 아직 부족한 점이 많습니다. 최신 LLM 모델 및 추론 워크로드 트렌드, 그리고 Flash memory의 LLM 사용 방식을 살펴보며 HBF의 남은 과제와 극복 방안에 대해 살펴봅니다.
AI 시대의 필수 소비재, 메모리 이해하기 2편: HBF의 잠재 workload 찾아보기
SK하이닉스의 H³ 아키텍처를 중심으로, HBF의 약점을 극복할 수 있는 워크로드를 탐색합니다.
지피지기면 백전불태 5편: Cerebras와 웨이퍼 스케일 엔진
OpenAI와의 대형 계약 보도로 주목받은 Cerebras의 최근 근황과 WSE-3 아키텍처, 웨이퍼 스케일 칩의 장단점을 비전공자도 이해할 수 있게 정리합니다.
AI 시대의 필수 소비재, 메모리 이해하기 1편: HBF 이해하기
SRAM, DRAM, HBM, NAND의 셀 구조와 물리적 특성을 설명하고, HBF(High Bandwidth Flash)가 메모리 계층에서 어떤 빈 자리를 채우는지 기술적으로 분석합니다.
Project Glasswing: Claude Mythos Preview
Project Glasswing·Mythos Preview 공개의 의미, Opus 4.6 대비 정량 지표, 벤치마크 세대 전환, OpenBSD·FFmpeg·FreeBSD 사례, 방어자·개발자 인사이트를 한글로 정리합니다.
Kubernetes 기반 사내 개발 환경 구축기 3편: LPU를 위한 Kubernetes Device Plugin
Kubernetes 기반 사내 개발 환경 구축기 3편: LPU를 위한 Kubernetes Device Plugin 안녕하세요! 저는 HyperAccel ML팀에서 DevOps Engineer로 근무하고 있는 전영훈입니다. 이번 포스팅은 Kubernetes 기반 사내 개발 환경 구축기 시리즈의 3번째 글입니다! 1편에서는 Kubernetes를 기반으로 하는 개발 환경 구축의 배경과 전체적인 설계 및 방향에 대해서 살펴보았고, 2편에서는 기존 Se
AITER 분석: AMD가 ROCm inference 성능을 2배로 올린 방법
AMD가 ROCm inference 성능을 2배로 올린 AITER 커널 라이브러리를 분석합니다. 4가지 커널 백엔드 전략(Triton, CK, HIP, ASM), JIT 컴파일 파이프라인, 그리고 DeepSeek R1에서 2배 throughput 향상을 달성한 구조를 살펴봅니다.
Transformer World: LLM의 기본 구조 뜯어보기
Transformer 기반 LLM의 내부 구조를 단계별로 살펴보고, Token Embedding·Attention·LM Head 등 각 모듈의 의미와 KV Cache·MHA·GQA 등 최적화 기법을 정리합니다.
지피지기면 백전불태 번외편: Pallas Programming Model
지피지기면 백전불태 2편에서 살펴본 TPU 아키텍처를 바탕으로, TPU에서 커스텀 커널을 작성할 수 있게 해주는 Pallas 프로그래밍 모델에 대해 알아봅니다.
지피지기면 백전불태 4편 : 메모리 용량 병목과 NVIDIA ICMS
LLM의 새로운 병목인 KV 캐시 용량 문제를 해결하기 위해 NVIDIA가 제시한 새로운 계층의 스토리지인 ICMS와 이를 관리하는 Bluefield-4 DPU의 기술적 원리를 살펴봅니다.
Copy & Paste에서 코딩 에이전트까지: 조용한 변화의 시작
Copy & Paste에서 자율 코딩 에이전트까지: 조용한 변화의 시작 안녕하세요, 하이퍼엑셀 ML 팀 엔지니어 엄태서입니다. 개발자들 사이에는 이런 농담이 있습니다. “우리 일은 결국 문제를 구글에 검색하고, 첫 번째로 뜨는 링크를 눌러서, Stack Overflow에서 답을 복사해 붙여넣는 거 아니냐?” 어떤 면에서는 AI 코딩 도구의 등장이 우리가 하는 일을 완전히 바꾼 건 아닙니다. 다만 그 일을 훨씬 더 잘, 훨씬 더 빠르게 하게 만들
Kubernetes 기반 사내 개발 환경 구축기 2편: ARC와 CI/CD 인프라 고도화
HyperAccel의 CI/CD 인프라를 Actions Runner Controller(ARC) 기반으로 전면 재설계한 기술적 여정과 Vault JWT/Kubernetes Auth 이중 연동, 그리고 자체 개발한 Go 기반 Prometheus Exporter를 통한 파이프라인 관측성(Observability) 확보까지의 전 과정을 다룹니다.
페이지 1 / 2 (총 32개)