Data Engineering 글 모음

버즈빌

2024-04-18 · 2년 이상 전

들어가며 안녕하세요, 버즈빌 데이터 엔지니어 Abel 입니다. 이번 포스팅에서는 데이터 파이프라인 CI 테스트에 소요되는 시간을 어떻게 7분대에서 3분대로 개선하였는지에 대해 소개하려 합니다.

쏘카

2024-03-11 · 2년 이상 전

AI 세차 도입기

씨앤텍시스템즈

2024-03-08 · 2년 이상 전

" 고객의 미래를 함께하는 씨앤텍시스템즈 " 안녕하세요 씨앤텍시스템즈 기술연구소입니다. 회사소개 2005년에 설립된 DW, ETL, BA, BIG DATA, 솔루션 구축 컨설팅 전문기업 씨앤텍시스템즈의 소개합니다. 기술연구소는 전문화된 인력과 기술력을 바탕으로 차세대 기술 개발, R&D 사업 등 새로운 IT 기술에 도전하고 지속적인 연구 개발을 통하여 주도적인 기업으로 이끌어 나가고 있습니다. 최근 자사 ETL 솔루션 개발 및 디지털 헬스케어,

비브로스

2024-02-20 · 2년 이상 전

사건의 발단

카카오뱅크

2024-02-15 · 2년 이상 전

카카오뱅크 데이터 사이언티스트 Belle입니다. 이 글은 데이터를 통해 서비스 개선과 비즈니스 성공을 이루고자 하는 개발자와 분석가를 위한 것입니다. 데이터의 본질적 의미, 금융 데이터의 특성, 그리고 데이터의 가치를 극대화하는 방법에 대해 깊이 있게 다룹니다. 금융 도메인에서 데이터를 이해하고 분석하는 노하우를 공유하며, 궁극적으로 데이터 분석 역량을 강화하고 업무 생산성을 높이는 전략을 소개합니다.

빅웨이브에이아이

2024-01-24 · 2년 이상 전

빅웨이브에이아이 이원석 님의 리뷰입니다. LLM 모델인 GPT-4, PaLM, LLama 등은 범용적인 목적에 맞게, 매우 큰 모델 사이즈와 매우 방대한 양의 데이터로 사전 학습이 수행됨 일반적인 LLM의 경우 방대한 양의 데이터로 부터 매우 다양한 도메인 지식을 습득 But, 사전 학습 데이터에서 욕설, 편향적인 정보, 부정확한 정보를 담은 문서 등 적절치 못한 데이터를 다수 포함 데이터 클렌징 및 필터링 등 방대한 양의 데이터를 사람이 전부

쏘카

2024-01-08 · 2년 이상 전

정차지분석 플랫폼 개발기

매드업

2023-12-19 · 2년 이상 전

안녕하세요. AdTech(Advertising technology) 스타트업 매드업에서 데이터 엔지니어 겸 사이트 신뢰성 엔지니어(SRE, Site Reliability Engineer)로 근무하고 있는 백재연입니다. 이번 글에서는 올해 라스베가스에서 열린 AWS re:Invent를 다녀온 후기를 다루려고 합니다. 키노트나 세션 등 기술과 관련된 콘텐츠는 유튜브와 AWS 공식 블로그에 잘 정리가 되어 있으니 생략하고, 처음 이 행사에 참석했던

씨앤텍시스템즈

2023-12-18 · 2년 이상 전

안녕하세요 씨앤텍시스템즈 김준형입니다. 이번 포스트는 Talend 기능에 대해서 정리해 보았습니다. Oralce의 테이블을 호출하고 ETL 기능을 수행하면서 Talend 기능을 살펴보겠습니다. Talend Studio의 실행환경은 윈도우에서 진행하였습니다. TAC(Talend Administrator Center)는 Linux 환경에 설치하고 윈도우에서 Web환경에서 진행했습니다. 먼저 Talend Studio 실행화면입니다. 여기서 Local

다나와

2023-12-13 · 2년 이상 전

개요 안녕하세요. 다나와에서 데이터 파트를 맡아 진행하고 있는 선지호입니다. 다나와에서는 웹 트래픽 로그 데이터 분석을 위해 새로운 내부 서비스를 구축 했습니다. 이 과정중에 저희가 했던 많은 고민과 결정을 공개하여 다나와를 관심있어하는 여러분들께 하나의 사례를 공유해 볼까 합니다. 여정 저희의 여정은 이렇습니다 1) 정책 및 필요조건 정하기 2) 유비쿼터스 언어 사전 만들기 3) 아키텍처 및 기술 검토 4) 데이터 포맷 선정 5) 데이터 필터

티맵모빌리티

2023-11-28 · 2년 이상 전

Abstract 티맵은 킬러 콘텐츠인 내비게이션 이용객의 사용 편의성을 높이기 위해 목적지로 자주 이용되는 집, 회사에 대한 원클릭 내비게이션 서비스를 제공하고 있습니다. 이번 10.0 앱 개편을 통해 다양한 모빌리티 서비스를 추가하였고, NIS(neural information seeking)을 강화하였습니다. NIS의 강화를 위해 저희는 집을 등록하지

스캐터랩

2023-11-17 · 2년 이상 전

"RLHF 외에 Human feedback을 학습할 수 있는 방법론들에 대해서 소개하고 핑퐁팀에서 실험한 경험을 공유합니다."

다나와

2023-11-10 · 2년 이상 전

상품 색인 파이프라인 소개 안녕하세요. 다나와에서 검색 서비스를 개발하고 있는 곽명환 입니다. 오늘은 검색 개발팀에서 사용하고 있는 동적 색인 서비스의 흐름과 해당 서비스의 문제점, 해결 방안을 소개해 보도록 하겠습니다. 다나와에서는 약 11억건의 상품 데이터를 보유하고 있습니다. 대용량 데이터를 실시간에 가까운 속도로 처리하고, 전문 검색 등이 가능할 수 있도록 RDBMS 대신 엘라스틱 서치를 채택해 검색 엔진으로 사용하고 있습니다. 상품 데