주소정제 서비스 내재화 - 4화 ( 슬픈예감 )
단독건물 주소정제 정복 (feat.전라북도와 부천시의 습격)
devBlog
Data Engineering 글 모음
기업 기술블로그의 Data Engineering 관련 글 340개
주소정제 서비스 내재화 - 5화 ( 어질어질한 변화구들 )
복합건물 (아파트, 다세대 주택) 주소정제 정복
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
입사 지원부터 팀 온보딩, 실무 투입까지
Airflow로 펀드 배치 시스템 완벽 구축하기
2024년 1월, 카카오뱅크는 K8s, Managed Database, 분산스토리지, API Gateway 등 클라우드 네이티브 기술을 도입한 혁신적인 펀드 시스템을 퍼블릭 클라우드에 구축하여 성공적으로 오픈했습니다. 그 중 Airflow 오픈소스를 활용하여 만든 배치 시스템을 조명해볼까 합니다. 금융 규제를 충족하면서도 효율적으로 수많은 펀드 배치 작업을 어떻게 수행하는지 그 구축 과정을 함께 들여다보시죠!
캐치테이블에서 일하고 싶은 사람을 위한 기업 분석
캐치 테이블은 혁신적인 예약 플랫폼으로, 데이터 기반의 서비스 제공을 통해 레스토랑과 고객의 경험을 개선하고 있습니다. 이번 블로그에서는 캐치 테이블의 비전, 핵심 가치, 그리고 채용공고에 대해서 소개하여 캐치테이블을 준비하시는 분들에게 양질의 정보를 제공하고자 합니다. 지금 바로 확인해보세요!
테이블링에 이븐하게 스며들기
SK플래닛 전사 테크 세미나 3년 회고 및 현장 사례
안녕하세요, 테크편집부입니다! 판교의 많은 IT회사처럼 저희도 다양한 DevRel(Developer Relation, 개발자 활동)을 진행하고 있는데요, 지난 수 년간 사내 기술 공유 문화 활동으로 진행하였던 Data & Tech Committee(이하 DTC) 라는 이름의 판교 테크 세미나 프로그램을 Tech Topic…
Trino resource optimize on YARN
실시간 파생 데이터 생성 : Kafka + Spark로 하루를 앞당기다
SK플래닛의 Hadoop 기반 Data Integration Cluster(이하 DIC)는 서비스의 다양한 데이터를 수집하고 분석하는 데 사용합니다. 데이터의 분석을 수행할 때는 새로운 정보나 인사이트를 위해 다른 테이블과의 조인 및 변환을 통해 파생 데이터를 생성하며, 파생 데이터를 생성하는 여러 방법 중 Hive Query…
Kafka 메시지 중복 및 유실 케이스별 해결 방법
안녕하세요. 풀필먼트 스쿼드에서 백엔드 개발을 담당하고 있는 시나브로우입니다. 저는 최근 공급망 관리(Supply Chain Management)를 통해 올리브영의 비즈니스 목표를 극대화하는 SCM 스쿼드에서 이적하였는데요. 이적 전인 2024년…
컬리의 Virtual 물류 센터
Picking 공정 시뮬레이션의 구축부터 활용까지
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
Prompt Engineering을 활용한 비정형 데이터 검수 실험
오픈소스 Trino를 활용한 전사 데이터 분석 시스템 구축기
본 글에서는 SK 플래닛의 Data Lake이자 빅데이터 플랫폼인 DIC(Data Integration Cluster)에서 진행한 데이터 리드 타임 단축을 위한 실시간 데이터 전달 강화 과제를 소개하고자 합니다. 이 프로젝트에서는 스트림 데이터의 실시간 처리와 오픈소스 Trino…
Data & Analytics in the GPT Era
(youtube)Event Streaming 도입과 앞으로의 활용
(youtube)도메인 정의부터 시작하는 검색 개발
BigQuery와 Gemini로 리뷰 분석 업무 자동화하기
BigQuery에서 LLM 모델 Gemini Pro 활용법 소개
