CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
실시간 CDC 파이프라인 재설계, 신뢰성과 정합성을 위해 무엇을 고려할 것인가
devBlog
Data Engineering 글 모음
기업 기술블로그의 Data Engineering 관련 글 340개
[클로바 시선 #47] AI 시대를 지탱하는 심장: 데이터센터
AI의 모든 계산은 어디서 이루어질까요? 질문에 답하고, 이미지를 생성하며, 음성을 인식하는 AI는 마치 우리 눈앞에서 즉각적으로 작동하는 것처럼 보입니다. 하지만 그 이면에는 보이지 않는 인프라가 존재합니다. 수많은 연산과 방대한 데이터를 처리하는 공간, 바로 데이터센터입니다. 단순한 IT 설비를 넘어 AI 시대를 실제로 움직이는, ‘보이지 않는 심장’인 데이터센터는 어떤 곳일까요? 데이터센터란? 데이터센터는 수많은 서버를 비롯해, 대량의 데
Agentic Search 시스템 구축기: 사내 검색 환경을 재정의하기 위해 우리가 선택한 것들
삼성전자 사내 지식 검색을 위해 다양한 RAG 실험 끝에 Agentic Search구조를 선택하게 된 이유와 이를 구현하기 위해 설계 시 고려한 점에 대한 경험을 공유합니다. Agent Flow, Tool 설계, Runtime환경까지 실제 구축 과정에서 중요했던 설계 포인트를 정리해보았습니다.
테이블 데이터를 위한 트랜스포머? — 변신 로봇 아닙니다
RAG의 진화: 검색을 넘어, 나를 이해하는 ‘Personal Context’의 시대로
RAG 기술이 단순 검색을 넘어서 사용자의 파편화된 개인 데이터와 실시간 컨텍스트를 통합하는 Personal Context RAG로 진화하고 있음을 설명합니다. 또한 이를 실현하기 위해 온디바이스 중심의 하이브리드 아키텍처, 개인화된 지식 그래프, 개인정보 보호 기술이 필수적으로 요구된다는 점을 알아봅니다.
워드 문서 파일 형식: DOC 포맷의 구조와 이해 (1)
이 글은 Microsoft Word의 DOC(.doc) 을 대상으로, 문서가 내부적으로 어떻게 저장되고 파싱되는지를 단계적으로 설명합니다. OLE2 기반 파일 구조를 바탕으로 WordDocument, Table, Data Stream의 역할을 살펴보고, 문서 해석의 핵심인 FIB(File Information Block) 를 중심으로 데이터 위치와 크기를 추적하는 방식을 다룹니다. 또한 CP 개념과 PLC·STTB·RG 등 주요 데이터 집합 구
이 서비스만 고치면 되겠지? AI가 놓치는 숨은 의존성을 추적하는 법
그래프 RAG 기반 채널 지식 시스템 구축기
한국 vs 인도 금융주, 밸류에이션의 비밀을 풀다
인도 금융주: 높은 Valuation이 '정당한' 이유
생성형 AI와 빅데이터의 만남: 에이전틱 AI로 진화하는 Big Data Assistant
삼성전자의 사내 데이터 분석 서비스인 Big Data Assistant(BDA)에서 어떻게 LLM을 활용해 자연어 기반 분석 서비스를 구축했는지 소개하고, BDA를 에이전틱 AI로 진화시키며 겪은 기술적 고민과 해결책을 나눕니다.
"스펙 문서에 없는데요?" 최신 스펙 갱신을 위한 사내 AI 챗봇 도입기 1부
안녕하세요. 포스타입 백엔드 엔지니어 김안선입니다. 최근 포스타입 기술그룹에서는 사내 구성원들을 위한 챗봇을 구축했습니다. 단순히 FAQ를 나열하는 수준을 넘어 백엔드 시스템의 복잡한 동작 원리를 이해하고 설명할 수 있는 어시스턴트를 목표로 했는데요. 이를 가능하게 한 RAG(Retrieval-Augmented Generation) 구축기를 공유하고자 합니다. 포스타입의 비즈니스 로직은 마치 정교한 시계 장치와도 같습니다. 결제, 크리에이터 수
고객 타게팅을 좀 더 정교하게, ClickHouse 도입기
고객 타게팅 기능에 OLAP 시스템을 적용하기까지 여정
작은 수정이 전체를 깨뜨리기 시작했을 때: 옐로우버스 DB 재설계 이야기
데이터베이스 재설계를 통해 옐로우버스 일정 시스템의 핵심 문제를 해결한 과정에 대해 공유합니다.
팀 내 전처리 프레임워크 dagster 도입기
안정적인 문서 전처리 시스템을 위한 dagster 도입 과정
보이지 않는 사람들을 위한 금융
데이터는 어떻게 '신용'을 발명하는가?
Amazon S3 Tables와 MCP, 자연어로 확장하는 데이터 경험
Amazon S3 Tables, MCP
80TB 데이터 비용 10배 절감기: DynamoDB에서 Apache Iceberg로의 여정 - Part 2
DynamoDB+S3 이중 저장 구조를 S3 기반 Iceberg 단일 테이블로 통합해 비용을 1/10로 낮추고 서빙 안정성을 끌어올린 대규모 마이그레이션
80TB 데이터 비용 10배 절감기: DynamoDB에서 Apache Iceberg로의 여정 - Part 1
DynamoDB+S3 이중 저장 구조를 S3 기반 Iceberg 단일 테이블로 통합해 비용을 1/10로 낮추고 서빙 안정성을 끌어올린 대규모 마이그레이션
[안내] T Academy: AI 활용 데이터 엔지니어 2기 교육생 모집(~2/1)
[요약] SK플래닛 T Academy에서 'AI 활용 데이터 엔지니어 2기' 교육생을 모집합니다(대한상공회의소와 고용노동부가 함께 합니다). 주 5일 오프라인 K-Digital 과정으로 최신 AI 활용 능력 및 데이터 엔지니어링 교육, 기업 연계 프로젝트 등을 수행하며, 수료 새출발 지원금(OK캐쉬백 10…