Data Engineering 글 모음

스캐터랩

2023-02-01

'성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법

마키나락스

2023-01-26

Related to 강화학습, 산업의 난제에 도전하다! - ASIC 반도체 설계 (Floorplan) 자동화 (Naver Deview 21 발표 영상) ASIC-Chip-Placement 1부 ASIC-Chip-Placement 2부 문제 소개 안녕하세요. 마키나락스 Combinatorial Optimization Problem(이하 COP)팀입니다. 저희는 산업 현장에서 효율 개선이 필요한 부분을 찾고, 여러 프로젝트를 통해 문제들을 해결하고

쏘카

2023-01-23

E2E 테스트 및 데이터 퀄리티 테스트 적용하기

쏘카

2023-01-16

PoC 개발을 위한 비용 효율적인 파이프라인 설계하기

티맵모빌리티

2023-01-06

티맵 언제 갈까 소개 티맵의 신규 경로탐색 엔진 Thor 1편 '번개처럼 빠른 경로탐색엔진'에 이어 신규 개선한 2편 ‘언제 갈까’ 기능을 소개합니다. 티맵은 출발 시간에 따른 소요시간과 경로를 예측할 수 있는 기능을 제공하고 있습니다. 목적지를 선택한 후 출발 시간을 변경해가며 확인할 수 있는데요. 출퇴근, 주말 가족나들이, 명절 장거리 운행 등 미래

뱅크샐러드

2023-01-05

안녕하세요. 저희는 뱅크샐러드 Data Platform 팀 김민수, 김태일 입니다. 이번 글에서는 뱅크샐러드 데이터 분석환경 컴퓨팅을 EMR, YARN 기반 Spark에서 Self-hosted Kubernetes…

매드업

2022-12-29

이 글에서는 파이썬 asyncio를 간단히 소개하고, 멀티스레딩에 비해 asyncio가 갖는 장점을 이야기 해보겠습니다. 그리고 제가 속해 있는 Data Platform팀에서 asyncio를 활용해 광고 데이터 수집의 효율을 어떻게 높이고 있는지 소개하고자 합니다. 그러면 이야기를 시작해 볼까요. asyncio asyncio는 비동기 I/O 프로그래밍을 위한 파이썬 기본 라이브러리로 파이썬 3.4에서 도입되었고, 3.5에서 async, awai

화해

2022-12-08

화해 어드민 리뉴얼을 마치며 회사마다 차이가 있겠지만 어드민의 중요성을 공감한다 해도 고객에게 직접적인 영향을 주는 제품보다는 우선순위가 높게 다뤄지진 않습니다. 화해 역시 서비스를 운영하며 복잡해진 정보와 데이터들을 효율적으로 관리할 수 있는 시스템 개편이 필요했습니다.

스캐터랩

2022-11-28

Apache Beam Native API, RunInference로 대규모 데이터 모델 추론하기

딜리셔스

2022-11-21

들어가며 딜리셔스 정보검색파트에서는 Elasticsearch를 활용하여 검색서비스를 개발하고 있습니다. 검색서비스를 위해서는 크게 두 가지 사전 작업이 필요합니다. Database에 있는 데이터를 검색엔진에 색인하는 과정 색인된 Document를 안전하게 Serving 하는 과정 이번 포스트에서는 첫 번째에 해당하는 ‘색인 과정’에 대한 이야기를 나누고자 합니다. 기존 딜리셔스 검색엔진의 색인 처리 프로세스를 간략히 소개하고, 이를 개선하기 위

ZUM

2022-10-23

줌인터넷에는 혁신적이고, 사용자의 입장에서 더욱 쉽고 편리하게 콘텐츠 경험을 제공할 수 있도록 끊임없이 고민하는 개발자분들이 계십니다. 빅데이터팀, 핀테크개발팀, 포털개발팀, 부설 연구소 그리고 인프라 보안팀까지! 같은 개발실이지만 업무와 역할이 팀마다 천차만별인데요. 줌인터넷의 개발자분들은 어떻게 업무를 하고 있는지 또 맡고 계신 업무의 영역은 무엇인지 미래의 개발자분들과 줌인터넷에서 일하고 싶어 하시는 개발자분들의 궁금증을 말끔하게 해소할

티맵모빌리티

2022-10-20

TMAP 내비게이션을 사용하다 보면 자주 가던 길에 새로 설치된 과속 단속 카메라가 나오거나, 명절 귀성길에 새로 개통한 도로가 안내되거나, 얼마 전 오픈한 대형마트가 이미 반영되어 있는 경험을 한적이 있을 텐데요. 오늘은 TMAP이 고객 분들의 빠르고 안전한 운행을 위해 어떤 활동과 방법으로 지도 데이터를 구축하는지 소개해보겠습니다. 지도 데이터에는

지마켓

2022-10-05

소개안녕하세요:) 지마켓에서 데이터로 여러 가지 흥미로운 개발을 하고 있는 한한주입니다.이번에 소개해 드릴 내용은 탐색적 데이터 분석 흔히 EDA(Exploratory Data Analysis)라고 불리는 분석기법에 대한 내용입니다. 처음 정제되지 않은 대용량 데이터를 마주하면 정신이 혼미해 지기 쉽습니다^^; 이럴 때 데이터 형태를 정의하고 탐색적 분석을 통해 시각화하면 좀 더 친근하게 데이터 분석을 시작할 수 있습니다. 그럼 Start! EDA란?위키백과에 따르면 EDA는 미국의 저명한 통계학자가 창안한 자료 분석 방법론입니다. 기존의 통계학이 정보의 추출에서 가설 검정 등에 치우쳐 자료가 가지고 있는 본연의 의미를 찾는데 어려움이 있어, 이를 보완하고자 주어진 자료만 가지고도 충분한 정보를 찾을 수..

버즈빌

2022-09-29

버즈빌 개발팀에서는 매주 수요일, 모든 팀의 개발자들이 모여 본인이 관심있는 분야에 대한 노하우나 담당하고 있는 업무와 관련된 새로운 기술에 대한 논의를 진행하는 시간을 가지고 있습니다. 이 시간을 통해 내가 알고 있는 것들에 대해 더 확실히 알고 모르는 것들에 대해 배우며 이를 바탕으로 보다 효율적이고 창의적으로 업무를 진행하기 위해 노력하고 있습니다.…

스캐터랩

2022-09-13

팀에서 필요한 학습 파이프라인 구축하기