devBlog
기업 기술블로그의 Data Engineering 관련 글 396개
카카오뱅크 데이터기술팀의 Logan이 작성한 이 글은 카카오뱅크의 사기 탐지 시스템(FDS)에 AI를 적용한 여정을 설명합니다. FDS 시스템의 기본 개념부터, 기존 Rule 기반 시스템의 한계와 AI 기반 시스템의 장점에 대해 다루며, AI를 적용하는 과정에서 겪었던 어려움과 해결책을 상세히 소개합니다. AI 기반 FDS의 데이터 파이프라인 구축, 이벤트 처리 시스템, Feature Store, 실시간 스트림 시스템, ML 서빙 분산 아키텍처
Hive 애널리틱스는 게임을 플레이하면서 발생하는 대용량 로그를 수집하고 활용할 수 있는 여러 기능을 제공하고 있다. 지표, 세그먼트, 퍼널 분석뿐만 아니라 빅쿼리(Bigquery)를 통해 수집된 로그를 조회해 목적에 맞는 분석을 수행해 볼 수 있다. VIP 유저 분석, 유저 분류 분석, 유저 생애 주기 분석 등 그 주제는 다양하다. 본 글에서는 Hive 애널리틱스 로그를 활용한 한 가지 분석 […]
카카오뱅크 데이터Biz캠프의 데이터 기획자 Izel, 데이터 분석가 B와 Belle입니다. 이번 글에서는 카카오뱅크 앱에 새롭게 출시된 ‘배지 모으기 서비스’의 데이터 제품화 과정에 대해 공유합니다. 데이터 제품의 정의부터, 배지 모으기 서비스가 데이터 제품으로서 어떤 가치를 제공하는지, 고객의 행동 패턴을 반영한 배지 획득 기준 설정 과정까지 다양한 이야기를 담았습니다. 데이터 기반의 서비스를 구현하며 겪은 흥미로운 경험과 도전 과제를 함께
CDC 파이프라인 구축하기
티맵을 이용하여 경로 주행을 하면 진행방향의 도로에서 발생한 사건 사고에 대한 정보나 안개나 결빙 주의 안내, 혹은 도로 속도 안내 등을 볼 수 있습니다. 이러한 정보들은 티맵 서비스 요원들이 직접 수집한 정보와 여러 관계 기관들의 시스템으로부터 수집한 정보로 나뉘는데요. 오늘 테크노트에서는 이러한 정보들이 어떻게 수집되고 가공되어 티맵에 표출되는지 설명하
하루에도 수많은 유저가 게임에 접속한다. 각 유저는 게임 내에서 광고 시청, 게임 플레이, 결제 등 다양한 행동 패턴을 보이고, 이 패턴은 유저마다 다르다. 다양한 행동 패턴을 보이는 유저들에게 획일화된 마케팅 활동을 전개하는 것은 게임 운영 측면에서 비효율적일 수 있다. 따라서 유저의 행동 패턴을 기반으로 게임 유저를 분류하고, 분류된 유저별 개인화된 마케팅 활동을 전개하는 것이 중요하다. […]
"해외에서 인기 있는 감성 AI 서비스들은 무엇이고 왜 잘될까? 국내 서비스 중에는 어디에 감성 AI를 접목시킬 수 있을까?"
TMAP은 어떻게 정확한 최신 도로 정보를 가지고 길안내를 할까요? TMAP은 도로 정보의 최신성과 정확성을 위해 조사차량이 매일 촬영한 도로 이미지로부터 수십가지의 도로표지판과 방면표지판 정보, 주행유도선의 색깔과 존재 유무 등의 정보를 추출하고 빠르게 업데이트 합니다. 놀랍게도 이 과정을 수작업으로 진행하기 때문에 상당한 운영비용 드는데요. 실수를 잡
다나와 상품 데이터 다나와에는 컴퓨터 부품부터 시작하여 옷, 가전, 가구 식품 등등 많은 다양한 상품들이 있습니다. 이 많은 상품 데이터들은 다나와에서는 어떻게 가지고 관리하고 있을까요? 데이터 흐름도 우선 데이터 흐름도를 보기 전에 일부 용어를 설명하고 가겠습니다. 기준 상품: 다나와에서 자체적으로 만든 상품입니다, 상품 클릭 시 링크 상품들이 모여있는 상세페이지로 이동합니다. 링크 상품: 기준 상품과 연결된 상품으로, 클릭 시 해당 제품의
Intro 화물 운송 시장에서의 프라이싱 화물 운송 시장은 사물의 이동을 필요로 하는 화주와 이동을 직접 수행하는 차주로 구분됩니다. 여기서 화물의 이동을 위해 화주와 차주를 연결하는 고리 역할을 하는 담당하는 것을 ‘주선’이라고 표현하고, 이들이 곧 화물 운송의 중개자 역할을 수행하게 됩니다. TMAP은 바로 이 ‘주선’의 관점에서 운송 중개 플랫폼을
국민 내비 TMAP이 티맵모빌리티로 독립한 지 벌써 2년이 넘었어요. 20년 역사의 대단한 서비스를 만들어가는 것. 벅차지만 쉽지 않은 여정 속에서 티맵 피플들은 어떤 고민을 하고 어떤 미래를 그려가고 있는지 하나씩 풀어나가 보려고 합니다. Q. 안녕하세요. 오늘은 API/Data팀 모셨습니다. 무슨 일을 하는 팀인지 소개 부탁드려요. 상구: 티맵의 강력
1. 소개 안녕하세요. 저는 코어뱅킹 팀에서 주니어 개발자로 일하고 있는 박찬얼입니다. 2022년 2월에 8퍼센트에 합류하여 세금 및 각종 수수료 정산 업무를 담당하고 있습니다. 이 글은 세금 정산 세미나를 소개했던, '코어뱅킹팀이 전하는 세금 정산의 모든 것' 글의 후속편으로, 8퍼센트에서 과거에 사용되던 정산 방법, 그로 인해 발생한 문제점들, 그리고 현재 코어뱅킹 팀이 개선한 방식과 그 이유를 공유하고자 합니다. 2. 정산 정산이란 정산은
구글이 실제로 수집한 필드 데이터를 CrUX API로 가져와 대시보드 생성하기
Luda Gen 1.5 모델을 학습할 때 데이터셋에서 중복을 제거한 방법에 대해 이야기합니다.
페이지 16 / 22 (총 396개)