기업 기술블로그의 Data Engineering 관련 글 298개
티맵모빌리티
2023-01-06 · 3년 이상 전
티맵 언제 갈까 소개 티맵의 신규 경로탐색 엔진 Thor 1편 '번개처럼 빠른 경로탐색엔진'에 이어 신규 개선한 2편 ‘언제 갈까’ 기능을 소개합니다. 티맵은 출발 시간에 따른 소요시간과 경로를 예측할 수 있는 기능을 제공하고 있습니다. 목적지를 선택한 후 출발 시간을 변경해가며 확인할 수 있는데요. 출퇴근, 주말 가족나들이, 명절 장거리 운행 등 미래
뱅크샐러드
2023-01-05 · 3년 이상 전
안녕하세요. 저희는 뱅크샐러드 Data Platform 팀 김민수, 김태일 입니다. 이번 글에서는 뱅크샐러드 데이터 분석환경 컴퓨팅을 EMR, YARN 기반 Spark에서 Self-hosted Kubernetes…
매드업
2022-12-29 · 3년 이상 전
이 글에서는 파이썬 asyncio를 간단히 소개하고, 멀티스레딩에 비해 asyncio가 갖는 장점을 이야기 해보겠습니다. 그리고 제가 속해 있는 Data Platform팀에서 asyncio를 활용해 광고 데이터 수집의 효율을 어떻게 높이고 있는지 소개하고자 합니다. 그러면 이야기를 시작해 볼까요. asyncio asyncio는 비동기 I/O 프로그래밍을 위한 파이썬 기본 라이브러리로 파이썬 3.4에서 도입되었고, 3.5에서 async, awai
화해
2022-12-08 · 3년 이상 전
화해 어드민 리뉴얼을 마치며 회사마다 차이가 있겠지만 어드민의 중요성을 공감한다 해도 고객에게 직접적인 영향을 주는 제품보다는 우선순위가 높게 다뤄지진 않습니다. 화해 역시 서비스를 운영하며 복잡해진 정보와 데이터들을 효율적으로 관리할 수 있는 시스템 개편이 필요했습니다.
스캐터랩
2022-11-28 · 3년 이상 전
Apache Beam Native API, RunInference로 대규모 데이터 모델 추론하기
딜리셔스
2022-11-21 · 3년 이상 전
들어가며 딜리셔스 정보검색파트에서는 Elasticsearch를 활용하여 검색서비스를 개발하고 있습니다. 검색서비스를 위해서는 크게 두 가지 사전 작업이 필요합니다. Database에 있는 데이터를 검색엔진에 색인하는 과정 색인된 Document를 안전하게 Serving 하는 과정 이번 포스트에서는 첫 번째에 해당하는 ‘색인 과정’에 대한 이야기를 나누고자 합니다. 기존 딜리셔스 검색엔진의 색인 처리 프로세스를 간략히 소개하고, 이를 개선하기 위
로플랫
2022-11-15 · 3년 이상 전
ZUM
2022-10-23 · 3년 이상 전
줌인터넷에는 혁신적이고, 사용자의 입장에서 더욱 쉽고 편리하게 콘텐츠 경험을 제공할 수 있도록 끊임없이 고민하는 개발자분들이 계십니다. 빅데이터팀, 핀테크개발팀, 포털개발팀, 부설 연구소 그리고 인프라 보안팀까지! 같은 개발실이지만 업무와 역할이 팀마다 천차만별인데요. 줌인터넷의 개발자분들은 어떻게 업무를 하고 있는지 또 맡고 계신 업무의 영역은 무엇인지 미래의 개발자분들과 줌인터넷에서 일하고 싶어 하시는 개발자분들의 궁금증을 말끔하게 해소할
티맵모빌리티
2022-10-20 · 거의 4년 전
TMAP 내비게이션을 사용하다 보면 자주 가던 길에 새로 설치된 과속 단속 카메라가 나오거나, 명절 귀성길에 새로 개통한 도로가 안내되거나, 얼마 전 오픈한 대형마트가 이미 반영되어 있는 경험을 한적이 있을 텐데요. 오늘은 TMAP이 고객 분들의 빠르고 안전한 운행을 위해 어떤 활동과 방법으로 지도 데이터를 구축하는지 소개해보겠습니다. 지도 데이터에는
지마켓
2022-10-05 · 거의 4년 전
소개안녕하세요:) 지마켓에서 데이터로 여러 가지 흥미로운 개발을 하고 있는 한한주입니다.이번에 소개해 드릴 내용은 탐색적 데이터 분석 흔히 EDA(Exploratory Data Analysis)라고 불리는 분석기법에 대한 내용입니다. 처음 정제되지 않은 대용량 데이터를 마주하면 정신이 혼미해 지기 쉽습니다^^; 이럴 때 데이터 형태를 정의하고 탐색적 분석을 통해 시각화하면 좀 더 친근하게 데이터 분석을 시작할 수 있습니다. 그럼 Start! EDA란?위키백과에 따르면 EDA는 미국의 저명한 통계학자가 창안한 자료 분석 방법론입니다. 기존의 통계학이 정보의 추출에서 가설 검정 등에 치우쳐 자료가 가지고 있는 본연의 의미를 찾는데 어려움이 있어, 이를 보완하고자 주어진 자료만 가지고도 충분한 정보를 찾을 수..
버즈빌
2022-09-29 · 거의 4년 전
버즈빌 개발팀에서는 매주 수요일, 모든 팀의 개발자들이 모여 본인이 관심있는 분야에 대한 노하우나 담당하고 있는 업무와 관련된 새로운 기술에 대한 논의를 진행하는 시간을 가지고 있습니다. 이 시간을 통해 내가 알고 있는 것들에 대해 더 확실히 알고 모르는 것들에 대해 배우며 이를 바탕으로 보다 효율적이고 창의적으로 업무를 진행하기 위해 노력하고 있습니다.…
스캐터랩
2022-09-13 · 거의 4년 전
팀에서 필요한 학습 파이프라인 구축하기
지마켓
2022-08-31 · 거의 4년 전
KafkaItemReader 적용기안녕하세요 VIP & Vertical 팀 김윤제입니다.VIP 파트에서 상품 상세 페이지 및 리뷰 업무를 맡고 있습니다.최근 리뷰 개편 작업에 Kafka 도입을 해보며 주니어 개발자로서 겪고 배운 내용을 공유드리기 위해 작성했습니다.부족하게 쓴 내용일지라도 도움이 되었으면 좋겠습니다. Kafka를 선택한 이유제가 속한 VIP & Vertical팀 (VIP 파트)에서 Kafka를 사용하게 된 이유는 크게 다음과 같이 두 가지 이유가 있었습니다.RDB의 부하 조절을 위해 미들웨어인 메시징 플랫폼을 두어 데이터를 처리Review 등록 이후에 같은 데이터를 가지고 여러 가지 작업(Junk 판독, Review Summary) 등의 배치 작업을 하는 병렬 프로세싱을 원했습니다. (..
로플랫
2022-08-26 · 거의 4년 전
마켓컬리
2022-08-24 · 거의 4년 전
카프카 스트림즈를 추가하다
화해
2022-08-04 · 거의 4년 전
데이터리터러시 와 데이터 기반 의사결정 문화 데이터 리터러시는 데이터를 활용해 문제를 해결하는 능력입니다. 데이터를 보여주는 것만으로 문제 해결력이 좋아지지는 않았습니다. 데이터를 바라보는 올바른 관점을 만들고 이 관점을 유지·강화 시키기 위한 환경이 필요했습니다.
스캐터랩
2022-07-20 · 약 4년 전
주제별로 알아보는 continual learning
매드업
2022-07-01 · 약 4년 전
이번 글에서는 매드업의 DMP 프리즘의 일부인 크라켄을 소개합니다. 크라켄은 매드업에서 구축한 데이터 수집 플랫폼입니다. API 호출 제약이 상대적으로 빡빡한 매체의 데이터 수집을 담당합니다. API 호출 제약으로 인해 어떤 어려움이 있었는지, 그리고 크라켄은 어떻게 이런 어려움을 극복했는지 알아보겠습니다. 비개발자도 편하게 읽으실 수 있도록 기술적인 내용은 후반부에 짧게 다룹니다. 어서 와, 광고 데이터 수집은 처음이지? 구글, 페이스북, 트
페이지 13 / 17 (총 298개)