기업 기술블로그의 Performance 관련 글 549개
AI 서비스를 안정적으로 운영하려면 어떤 인프라와 기술이 필요할까요? 이번 케클s피드에서는 kt cloud summit 2026에서 공개한 고객의 AX를 뒷받침하는 인프라 전략을 소개합니다. AI 데이터센터의 전력 인프라와 구축·운영 기술부터 AI 서비스의 성능과 비용을 함께 고려한 클라우드·AI 기술과 적용 사례까지 담았습니다. 비즈니스 현장에서 AI를 구현하고 운영하는 데 필요한 인사이트를 만나보세요.1,500여 명이 함께한 kt cloud
소버린 AI를 개발하는 일은 막대한 비용을 감당해야 하는 승부입니다. ⚔️ 2025년 Meta가 공개한 자료에 따르면, Llama 4의 사전학습에는 H100 GPU 누적 738만 시간이 투입되었는데요. 이를 2026년 현재 클라우드 H100 임대 시세(시간당 약 2.5~3달러)로 단순히 환산하면 GPU 비용만 한화로 약 250억~300억 원 규모인 셈입니다. 이렇게 GPU를 수백만 시간 가동하는 데만 수백억 원이 소요되는 시대에, 학습 속도를
지난 4월부터 적용되고 있는 모두의카드 반값 환급이 9월 30일 이용분으로 끝날 예정이에요. 환급 기준금액을 절반 수준으
같은 PR도 어떤 LLM에 어떤 프롬프트로 맡기느냐에 따라 결함이 잡히기도 하고 그냥 묻히기도 합니다. Code Review War는 쓸 수 있는 모든 LLM을 워커로 동원하고 8개 리뷰 관점(페르소나)을 실행 단위로 얹어 PR을 병렬 리뷰한 뒤, 심판 모델의 검증과 결정적 병합을 거쳐 한 장의 라인 단위 리뷰로 만드는 시스템입니다. 이 글에서는 결함을 매설한 샘플 PR과 정답지 자동 채점으로 구성별 품질을 측정하여 단일 모델 대비 결함 탐지가
안녕하세요. 할당시스템 파트 서버 엔지니어, Simon 이상원입니다. 'MemoryDB는 무엇으로 가득 차 있었을까?'의 2부 글입니다. 1부에서는 MemoryDB 메모리의 85%를 채우고 있던 것의 정체를 찾아가는 과정을 다뤘습니다. 2부는 이 문제를 어떻게 해결했는가, 그리고 더 나은 방법은 없었을까에 대한 회고를 담았습니다. 1부에서는 무슨 일이 있었…
CVR을 3배 높이면서도 사용자 경험을 놓치지 않기 위해 고민한 과정을 들려드려요.
세줄 요약 1. 외부 파일(GeoIP DB)을 읽는 부분에서 heap 비중이 큰 것을 발견 2. GeoIP DB를 mmap으로 읽는 방법과 []byte로 직접 embed하는 방법을 비교, 두 방식 모두 heap 복사 제거 가능 확인 3. 기존 배포 구조를 유지할 수 있는 직접 embed 선택하여 불필요한 메모리 차지 포인트 개선
안녕하세요! 😆 'ItemLM: 상품 정보 기반의 임베딩 생성기', 'T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM…
서론 정밀의료 시대에 바이오마커 기반 표적치료는 암 치료의 핵심 전략으로 자리 잡고 있습니다. 실제 임상에서는 유전체 분석 결과를 바탕으로 치료 방침이 결정되기 때문에, 유전체 분석 검사의 신뢰성(Reliability)과 신속한 결과 제공(Turnaround Time, TAT)은 단순한 운영 성과 지표(KPI)가 아닙니다. 이는 환자의 치료 일정과 의료진의 임상 의사결정에 직접적인 영향을 미치는 핵심 제약 조건입니다. 그 사이를 채우는 것은 시
원문: Rendering Digital Humans with Amazon EC2 Spot Instances — Dario Macagnano, Jyothi Madanlal, 2026년 7월 10일 (AWS Physical AI Blog) Amazon Web Services는 이 게시물에 기여해 주신 UneeQ 엔지니어링 팀에 감사드립니다 UneeQ는 실시간 고충실도(high-fidelity) 3D 렌더링을 통해 사실적인 표정을 표현하면서 자연스러
산업혁명에서 승자는 ‘엔진’이 아니라 ‘일하는 방식’을 바꾼 기업이었다. AI 시대에도 이미 해외·국내에서 버티컬 워크플로우를 깊게 파고든 팀들이 성과를 내고 있으며, 성과는 대체가 아닌 재배치와 단위경제에 달려 있다. The post [AI 트렌드] 배관 전화를 받는 AI가 1조 회사가 됐습니다 appeared first on BESPIN Tech Blog.
1부에서는 Amazon EKS의 GPU 노드에서 Gemma 4 31B를 vLLM으로 서빙할 때의 콜드 스타트를 다뤘습니다. 파드가 Ready가 되기까지의 시간을 428초에서 226초로 줄인 과정입니다. 스트리밍 로더로 가중치를 S3에서 직접 읽고 컴파일 캐시를 hostPath와 S3에 남기고 유휴 상태는 sleep/wake로 전환하는 구성이었습니다. 모델은 NVIDIA가 공개한 NVFP4 체크포인트 nvidia/Gemma-4-31B-IT-NVF
Gemma 4는 Google이 공개한 오픈 웨이트 모델 패밀리로, E2B부터 31B까지 5가지 크기에 텍스트와 이미지 입력(E2B, E4B, 12B는 오디오도 지원), 최대 256K 토큰 컨텍스트(E2B, E4B는 128K), 추론(thinking) 모드를 제공합니다. 그중 31B는 밀집(dense) 구조의 최상위 모델로, NVFP4(4비트 부동소수점)로 양자화한 가중치 약 31GiB가 96GB GPU 1개에 올라가는 대신 시작할 때마다 수십
App Router가 토스뱅크에도 좋은 선택일지, 직접 측정한 결과와 도입 여부를 판단한 기준을 공유해요.
AI 질문은 입력·네트워크·서버 배정·GPU 추론·응답까지 5단계를 거쳐 데이터센터를 왕복합니다. AI 질문 한 번은 약 0.3Wh를 씁니다. LED 전구를 2분 켜는 전력이지만, 하루 수십억 건이 쌓이면 ... Read More
매주 열리는 세션을 지켜낼 수 있던 디테일, 탄토의 보따리
페이지 1 / 31 (총 549개)
