기업 기술블로그의 Data Engineering 관련 글 299개
삼성 기술 블로그
2025-05-21 · 약 1년 전
약 18억 명의 사용자를 기반으로 운영되는 글로벌 계정 서비스인 삼성 계정에서는 24/7 대규모 트래픽을 안정적으로 처리하고 있으며, 삼성 계정에 관련된 모든 작업은 무중단으로 진행하고 있습니다. 이러한 제약사항 속에서 사용자 Database 내 개인식별정보들을 Kafka 를 이용해 서비스 영향 없이 스키마 전환 및 데이터의 컬럼 단위 암호화를 진행했던 경험에 대해 공유하고자 합니다.
IMQA
2025-03-18 · 1년 이상 전
새로운 IMQA는 앱・웹 애플리케이션의 문제 상황에 대하여 정확하게 판단하고 처리할 수 있도록 다양한 데이터를 지원합니다.
글루시스
2025-03-13 · 1년 이상 전
들어가기 앞서 이번 블로그에서 설명할 내용은 러스터를 활용하고 있는 환경에서 사용자가 새로운 파일을 생성하면, 내부적으로 이루어지는 과정을 분석한 내용을 담고 있습니다. 본 내용은 러스터의 전반적인 구조에 대해 기본적으로 알고 있는 것으로 가정하고 기술하고 있어서, 러스터의 구조가 궁금하신 분들은 Lustre 파일시스템과 GPUDirect Storage 소개[1] 글을 참고하실 수 있습니다. 또한 러스터에서 새로운 파일의 생성은 다양한 컴포넌트
모두싸인
2025-03-06 · 1년 이상 전
IMQA
2025-03-04 · 1년 이상 전
새로운 IMQA는 데이터를 보다 광범위하게 수집/처리함으로써 다양한 정보를 신속하게 제공하고, 서비스 운영 상태에 대하여 정확하게 판단하고 처리할 수 있도록 지원합니다.
마켓컬리
2025-03-03 · 1년 이상 전
Kafka Connect와 JDBC 커넥터를 이용해 DB 데이터를 쉽게 Kafka로 전송하는 방법과 발생 가능한 문제를 해결하는 방법을 공유합니다.
쏘카
2025-02-25 · 1년 이상 전
단일 진실 공급원 (SSoT) 의 중요성
하이퍼커넥트
2025-02-18 · 1년 이상 전
안녕하세요. Azar Matching Dev Team 의 Zeze 입니다. Flink 는 대다수의 백엔드 엔지니어들에게 친숙한 기술은 아니지만, 이벤트 스트리밍 처리를 위한 대표적인 기술 중 하나입니다. 대규모 실시간 데이터 스트리밍 처리를 위해 분산 환경에서 빠르고 유연하게 동작하는 오픈소스 데이터 처리 엔진이며, 팀 내에서는 Azar 의 핵심 로직인 매칭 서버를 구현하는 데에 사용되고 있고, 사내에서는 보통 Kafka 를 source 및 s
쏘카
2025-02-11 · 1년 이상 전
날씨 세차 도입기
쏘카
2025-02-11 · 1년 이상 전
들어가며 날씨 기반 세차 운영 최적화 2.1 기존 세차 오퍼레이션과 개선 필요성 2.2 날씨 데이터 수집 데이터 분석 및 운영 적용 3.1 분석을 위한 데이터 상세 정의 3.2 날씨와 차량 오염의 상관관계 분석 3.3 운영 적용을 위한 시뮬레이션 운영 적용 결과 및 인사이트 4.1 날씨 기반 세차 운영 정책 적용 결과 4.2 맥락 해석이 필요한 데이터의 활용 1. 들어가며 차를 가진 분이라면 세차한 직후에 비가 내려 속상했던 적이 한 번쯤 있으
올리브영
2025-02-03 · 1년 이상 전
…
마켓컬리
2025-01-19 · 1년 이상 전
문제인식과 컬리에서의 주소 정제의 목적
마켓컬리
2025-01-19 · 1년 이상 전
전국 약 1080만개의 건물DB 완성
마켓컬리
2025-01-19 · 1년 이상 전
복합건물 (아파트, 다세대 주택) 주소정제 정복
마켓컬리
2025-01-19 · 1년 이상 전
단독건물 주소정제 정복 (feat.전라북도와 부천시의 습격)
쏘카
2025-01-15 · 1년 이상 전
입사 지원부터 팀 온보딩, 실무 투입까지
카카오뱅크
2024-12-19 · 1년 이상 전
2024년 1월, 카카오뱅크는 K8s, Managed Database, 분산스토리지, API Gateway 등 클라우드 네이티브 기술을 도입한 혁신적인 펀드 시스템을 퍼블릭 클라우드에 구축하여 성공적으로 오픈했습니다. 그 중 Airflow 오픈소스를 활용하여 만든 배치 시스템을 조명해볼까 합니다. 금융 규제를 충족하면서도 효율적으로 수많은 펀드 배치 작업을 어떻게 수행하는지 그 구축 과정을 함께 들여다보시죠!
직행
2024-12-17 · 1년 이상 전
캐치 테이블은 혁신적인 예약 플랫폼으로, 데이터 기반의 서비스 제공을 통해 레스토랑과 고객의 경험을 개선하고 있습니다. 이번 블로그에서는 캐치 테이블의 비전, 핵심 가치, 그리고 채용공고에 대해서 소개하여 캐치테이블을 준비하시는 분들에게 양질의 정보를 제공하고자 합니다. 지금 바로 확인해보세요!
페이지 8 / 17 (총 299개)