Bayes Theorem
안녕하세요. 오태호입니다. Bayes Theorem은 Statistics를 공부하다 보면 기초적인 내용중에 하나로 언급되는 내용입니다만, 많은 책의 설명이 너무 추상적이거나 너무 복잡하거나 너무 간단하게 되어 있어서 이해가 쉽지 않은 경우가 많이 있습니다. 그래서 배우기는 분명히 배웠지만 실제로 문제 해결에 적용하기 위해서는 어떻게 적용해야 되는지 잘 모르는 사람도 많이 있습니다. 이 글에서는 Bayes Theorem을 조금 자세히 설명해서 B
스타트업 데이터 사이언티스트는 무슨 일을 할까? - 티맵모빌리티 조직인터뷰 2편. Data Intelligence팀
국민 내비 TMAP이 티맵모빌리티로 독립한 지 벌써 2년이 넘었어요. 20년 역사의 대단한 서비스를 만들어가는 것. 벅차지만 쉽지 않은 여정 속에서 티맵 피플들은 어떤 고민을 하고 어떤 미래를 그려가고 있는지 하나씩 풀어나가 보려고 합니다. Q. 안녕하세요. 오늘은 Date Intelligence(이하 DI)팀을 모셨습니다. 각자 자기소개 부탁드려요. 세
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
안녕하세요, 뱅크샐러드 Core Infra 팀의 Data engineer 김문수 입니다. 점점 커지는 이력성 데이터를 MySQL에서 더 저렴한 저장소인 S3로 옮기면서도, 서비스에서 호출할 때 딱 필요한 데이터만 읽을 수 있도록 bucketing을 적용한 사례를 공유하려고 합니다. M…
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
이번 글에서는 분석 테이블을 API로 만들 수 있는 데이터서빙 서비스를 만들었던 과정을 소개 드리겠습니다. 뱅크샐러드에서는 S3, Airflow, Spark 기반의 데이터 파이프라인을 통해 매일 수백종의 분석이 진행되고 있습니다. 데이터 파이프라인과 관련한 자세한 내용은 이전 글 데이…
데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인
안녕하세요. 저는 뱅크샐러드 Core Data팀 Tech Lead Manager…
데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인
안녕하세요. 저는 뱅크샐러드 Core Data팀 Tech Lead Manager 김민수 입니다. 이번 글에서는 데이터 사용자가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인에 대해 얘기해보려고 합니다. 뱅크샐러드 데이터 인프라 훑어보기 우선 뱅크샐러드의 데이터 분석 인프라를…
Self Serving Data Platform 구축하기 (feat. Airflow)
Introduction 안녕하세요. 버즈빌 데이터 엔지니어 Bernard입니다. 이번 포스팅에서는 저희 팀에서 어떻게 셀프 서빙 데이터 플랫폼을 구축했는지 소개하고자 합니다. 셀프 서빙 데이터 플랫폼이란, 특정 팀에 의존하지 않고 구성원 누구나 원하는 데이터를 스스로 생산 및 소비할 수 있는 플랫폼을 의미합니다. 과거에는, 서버팀 혹은 데이터 분석팀에서 데…
생성형 AI와 데이터 사이언스의 미래
Next, d3로 서버 사이드 지도 렌더링하기
안녕하세요! 프론트엔드개발팀 신입 개발자 백도훈입니다. 줌인터넷 입사 이후에 약 5주동안 진행한 파일럿 프로젝트 진행 과정에 생긴 고민들과 해결 과정을 공유하려고 합니다. 목차 1. 개요 2. 기술 스택 3. 디자인 4. 기능 5. 프로젝트 설계 6. 기술적 고민 7. 마치며 1. 개요 주제 이번에 진행한 파일럿 프로젝트의 주제는 부동산 데이터 시각화입니다. Next.js, 차트, 시각화 라이브러리 등 실무에 필요한 기술 역량을 강화하는것이 이
Elasticsearch 3TB의 인덱스를 reindex 하는 방법
10억 문서 색인의 필요성 현재 다나와에서 가지고 있는 상품수는 10억건 이상입니다. (점점 더 증가하는 추세) 그만큼 검색 품질을 높이기 위한 방안도 수립중인데요. 특히 사전 변경 대한 적용과 Mapping 변경 시 이를 위해 매주 reindex를 수행하고 있습니다. 이 문서에서는 대용량 인덱스에 대한 reindex를 도입하면서 겪었던 이슈와 해결 방안, 현재 결과에 대해 다루고 있습니다. 추가적으로, 속도와 안정성을 높이기 위해 어떤 조치를
화해 Data & Experiment Festival(D.E.F)
화해 Data & Experiment Festival 우리 모두가 함께 만든 성과와, 그 과정과 이유를 데이터와 실험으로부터 찾아보며 정확한 방향과 빠른 속도로 목표를 향해 함께 달려갈 수 있도록 학습과 성장을 나누기 위해 마련된 행사예요.
Libplanet PBFT 전환 제 0화 - 왜 PBFT로 전환을 시작했나요?
안녕하세요. Planetarium 에서 블록체인 디비전의 Libplanet 팀으로 근무하고 있는 이수호라고 합니다. 오늘은 Libplanet이 PBFT로 전환하게 된 계기와 그 과정에 대해 설명하는 글의 첫 번째 에피소드를 이야기하고자 합니다. 이 블로그 글에서는 Libplanet 블록체인의 합의 변경 과정, 변경 이유, 구체적인 변경 내용 및 새로운 합의 알고리즘의 이점에 대해 논의하겠습니다. 소개 블록체인 기술은 혁신을 이루고 있으며, Li
유저와의 환상적 콜라보! 블랙박스로 표지판 정보 얻기 - 19편 – 모바일 환경에서 YOLO 돌려보기 (방면표지판인식)
1. 길안내에 필요한 수많은 정보들, 블랙박스로 얻을 순 없을까? TMAP은 사용자들에게 보다 정확한 길안내를 하기 위해 안내에 필요한 여러 정보들을 주기적으로 수집하고 있습니다. 방면표지판, 과속카메라, 제한속도, 횡단보도, 과속방지턱 등 여러 정보들이 길안내에 필요하거든요. 이러한 정보들을 수집하기 위해 티맵은 영상 수집 차량을 주기적으로 운영합니다
매드업의 DMP - 프리즘(prism)을 소개합니다
안녕하세요. Adtech(Advertising technology) 스타트업 매드업 에서 데이터 엔지니어로 일하고 있는 칼리 입니다. 이번 글은 매드업의 Data Management Platform(DMP) - Prism을 소개하는 글입니다. 프리즘을 구축, 운영하며 어떤 고민을 했는지 그리고 앞으로의 방향을 확인해봅니다. 목차는 다음과 같습니다. 프리즘(Prism) 소개 프리즘으로 광고 데이터 수집, 적재 데이터 소비 프리즘 V1의 성장 한계
사내 데이터 스터디 3번 피벗한 이야기
왜 스타트업 오일나우는 문닫은 주유소를 인수했을까
처음부터 시작하는 Django 데이터 적재(5) — END
User segmentation 시스템 개발기