Spark History MCP + AI Agent로 Spark 분석 자동화하기
안녕하세요! FLO 데이터&추천팀의 Ken, Julian입니다. 저희 데이터&추천팀에서는 매일 수십 개의 Spark 배치 작업을 운영하고 있습니다. 추천 모델 학습, 사용자 행동 데이터 집계, 데이터마트 생성, 사용자 추천 데이터 추출 등 다양한 ETL 파이프라인이 Amazon EMR 클러스터에서 돌아가고 있죠. 그런데 이 Spark 작업들이 실패하면... 정말 머리가 아픕니다. "어? 새벽 3시에 돌린 작업이 실패했네? 로그 보러 가야겠다..
Kafka Streams 기반 EDA 구축 사례: 올리브영 품절 시스템 현대화 프로젝트
…
당근 검색 엔진, 쿠버네티스로 쉽게 운영하기 2편 — 데이터 노드 웜업 적용
2025년 12월 인도 핀테크 뉴스
12월 인도 핀테크 관련 정부 규제, 경쟁사 및 업계 동향을 공유합니다.
'우리는 이미 만들고 있었다' - 개발조직 AI 리얼스토리(2025년판)
안녕하세요, 테크편집부입니다. 지난 여름 사내 세미나에서 '우리는 이미 만들고 있었다' 라는 주제로 공유된 개발조직 AI 구현 사례를 블로그 스타일로 재편집/정리였사오니 참고하시기 바랍니다. *SK플래닛은 OK캐쉬백과 Syrup Wallet 앱으로 알려져 있는 회사로, 그밖에도 다양한 사내외 AI & Data…
NAVER DAN 2025 참관기
NAVER DAN 2025 참관기 Introduction 안녕하세요? HyperAccel ML팀 박신현입니다. 2025년 11월 6~7일 양일간 코엑스에서 열렸던 NAVER DAN 2025에 다녀와서 느낀 점을 공유하려고 합니다. 참관 동기 이번 컨퍼런스 참관의 주요 목적은 다음과 같습니다: 확장 가능한 스토리지 인프라 인사이트 확보: 컴퓨팅 클러스터 내 노드끼리 데이터를 공유하는 것을 넘어, 서로 다른 클러스터 간 데이터를 주고 받을 수 있는
배달대행사 API 연동과 장애 대응 - 오늘드림 서비스 개발기
오늘 주문하면 오늘 받는 오늘드림 서비스, 이를 위해 뒤에서는 얼마나 바쁘게 돌아갈까요? 안녕하세요. 올리브영 배송 및 물류 스쿼드에서 백엔드 개발을 담당하고 있는 맹곰이입니다.✌️ 올리브영은 택배 배송과 오늘드림 두 가지 배송 서비스를 제공하고 있는데요. 이 중 택배 배송과 관련 있는 물류시스템과 데이터 전송 방식은 "올리브영 물류시스템에서는 데이터를 어떻게 주고 받을까?"라는 제목으로 지난 해에 소개드렸습니다. 오늘은 물류시스템만큼 많은 트
Kafka Streams 윈도우 도입기
재고 정산 처리에 Kafka Streams window를 도입하며 겪은 이야기
Kafka Streams 윈도우 도입기
재고 정산 처리에 Kafka Streams window를 도입하며 겪은 이야기
통합 데이터 허브로 가는 길 - Part 3
기능 구현과 운영전략
Lustre Changelog DR
목차 인사말 전통적인 rsync 방식의 한계와 파일 히스토리 기반 DR Lustre Changelog Changelog의 동작 원리 Changelog 활성화 및 확인 changelog_mask 이벤트 타입 Changelog 읽기 글루시스 DR 솔루션 주요 특징 시스템 구성 시스템 아키텍처 컴포넌트별 상세 기능 동작 원리 1. 이벤트 수집 단계 2. 동기화 처리 단계 3. 이벤트 처리 상태 관리 4. 예상치 못한 종료 시 복구 메커니즘 5. 오류
14억 인도의 '금융 포용'을 이끄는 숨은 주역, NBFC를 아시나요?
인도 금융의 모세혈관 NBFC, 어떻게 14억 인구의 삶을 바꿨을까요? 전통 은행의 한계를 넘어 디지털 혁신으로 급성장 중인 인도의 비은행 금융 회사(NBFC)
도로의 숨결과 표정으로 결빙을 감지하는 멀티모달 AI 솔루션 'ARHIS Ambient'
안녕하세요, 데이터서비스개발팀에서 AI를 개발하는 이준성입니다. 이번 글에서는 멀티모달 기반의 블랙아이스 감지 솔루션을 소개하려고 합니다. 기술적인 부분도 어렵지 않게 풀어 설명했으니 편하게 읽어 주세요. 개요 AI…
통합 데이터 허브로 가는 길 - Part 2
아키텍처 설계와 구축
Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기
어피닛 AI 엔진이 고객의 EMI를 추정하는 방법
EMI 금액 추정을 통한 신흥국에서의 금융포용성 실현
통합 데이터 허브로 가는 길 - Part 1
도입 배경과 선택 과정
어피닛에서 GenAI를 금융 심사에 활용해보기
어피닛 AI/Data팀은 생성형 인공지능(GenAI)의 응답 토큰 로그확률을 활용해 연체확률(PD)을 산정·보정하는 방법을 개발했습니다. 실제 금융 심사 프로세스 일부에 시범 적용 중인 금융 리스크 관리 혁신 사례를 소개합니다.