“AI는 처음인데요?” 점심시간에 탄생한 사내 챗봇, 라포위키 개발기
Data Engineer, 이병우 님
devBlog
Data Engineering 글 모음
기업 기술블로그의 Data Engineering 관련 글 340개
⚔️데이터센터에서 시작된 전쟁? 요즘 뜨는 AIDC 개념부터 트렌드까지!
AI 확산으로 변화하는 데이터 센터의 모습에 대해 자세히 살펴봅니다. The post ⚔️데이터센터에서 시작된 전쟁? 요즘 뜨는 AIDC 개념부터 트렌드까지! appeared first on BESPIN Tech Blog.
똑쿼리 고도화 일대기
똑쿼리는 전사 데이터를 LLM을 통해 조회할 수 있는 서비스입니다. 여기서 전사 데이터는 단순한 데이터 웨어하우스의 수치를 넘어서, 프로젝트 문서, API 문서, 사내 규정까지 포괄하는 개념입니다. 이 글에서는 똑쿼리가 어떤 배경에서 탄생했고, LangGraph 도입과 함께 어떻게 고도화되었는지를 공유합니다.
밑바닥부터 시작하는 추천시스템 with Kubeflow
AI의 미래는 ‘가짜’에 있다? 합성 데이터 A to Z
합성 데이터(Synthetic data)의 개념부터 실제 활용 사례까지 구체적으로 살펴보겠습니다. The post AI의 미래는 ‘가짜’에 있다? 합성 데이터 A to Z appeared first on BESPIN Tech Blog.
대규모 트래픽 속 Kafka 를 이용한 개인정보 암호화 및 스키마 전환
약 18억 명의 사용자를 기반으로 운영되는 글로벌 계정 서비스인 삼성 계정에서는 24/7 대규모 트래픽을 안정적으로 처리하고 있으며, 삼성 계정에 관련된 모든 작업은 무중단으로 진행하고 있습니다. 이러한 제약사항 속에서 사용자 Database 내 개인식별정보들을 Kafka 를 이용해 서비스 영향 없이 스키마 전환 및 데이터의 컬럼 단위 암호화를 진행했던 경험에 대해 공유하고자 합니다.
2025년 변화하는 IMQA #3 - 문제 해결 인사이트, 크래시 & 로그 분석
새로운 IMQA는 앱・웹 애플리케이션의 문제 상황에 대하여 정확하게 판단하고 처리할 수 있도록 다양한 데이터를 지원합니다.
Lustre의 파일 create & open 과정 분석 - 1
들어가기 앞서 이번 블로그에서 설명할 내용은 러스터를 활용하고 있는 환경에서 사용자가 새로운 파일을 생성하면, 내부적으로 이루어지는 과정을 분석한 내용을 담고 있습니다. 본 내용은 러스터의 전반적인 구조에 대해 기본적으로 알고 있는 것으로 가정하고 기술하고 있어서, 러스터의 구조가 궁금하신 분들은 Lustre 파일시스템과 GPUDirect Storage 소개[1] 글을 참고하실 수 있습니다. 또한 러스터에서 새로운 파일의 생성은 다양한 컴포넌트
로그 인리치먼트(Log Enrichment)
2025년 변화하는 IMQA #2 - 서비스 상태와 변동 모니터링
새로운 IMQA는 데이터를 보다 광범위하게 수집/처리함으로써 다양한 정보를 신속하게 제공하고, 서비스 운영 상태에 대하여 정확하게 판단하고 처리할 수 있도록 지원합니다.
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 커넥터를 이용해 DB 데이터를 쉽게 Kafka로 전송하는 방법과 발생 가능한 문제를 해결하는 방법을 공유합니다.
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
단일 진실 공급원 (SSoT) 의 중요성
Flink SQL 도입기
안녕하세요. Azar Matching Dev Team 의 Zeze 입니다. Flink 는 대다수의 백엔드 엔지니어들에게 친숙한 기술은 아니지만, 이벤트 스트리밍 처리를 위한 대표적인 기술 중 하나입니다. 대규모 실시간 데이터 스트리밍 처리를 위해 분산 환경에서 빠르고 유연하게 동작하는 오픈소스 데이터 처리 엔진이며, 팀 내에서는 Azar 의 핵심 로직인 매칭 서버를 구현하는 데에 사용되고 있고, 사내에서는 보통 Kafka 를 source 및 s
Data Product (3) 데이터로 실제 운영 효율화가 가능할까?
날씨 세차 도입기
Data Product (3) 데이터로 실제 운영 효율화가 가능할까?
들어가며 날씨 기반 세차 운영 최적화 2.1 기존 세차 오퍼레이션과 개선 필요성 2.2 날씨 데이터 수집 데이터 분석 및 운영 적용 3.1 분석을 위한 데이터 상세 정의 3.2 날씨와 차량 오염의 상관관계 분석 3.3 운영 적용을 위한 시뮬레이션 운영 적용 결과 및 인사이트 4.1 날씨 기반 세차 운영 정책 적용 결과 4.2 맥락 해석이 필요한 데이터의 활용 1. 들어가며 차를 가진 분이라면 세차한 직후에 비가 내려 속상했던 적이 한 번쯤 있으
Monstache로 DocumentDB와 OpenSearch 동기화하기
…
주소정제 서비스 내재화 - 1화 ( 줄줄 새는 돈 )
문제인식과 컬리에서의 주소 정제의 목적
주소정제 서비스 내재화 - 3화 ( 노가다의 달달한 열매 )
전국 약 1080만개의 건물DB 완성