기업 기술블로그의 Data Engineering 관련 글 299개
매드업
2022-07-01 · 약 4년 전
이번 글에서는 매드업의 DMP 프리즘의 일부인 크라켄을 소개합니다. 크라켄은 매드업에서 구축한 데이터 수집 플랫폼입니다. API 호출 제약이 상대적으로 빡빡한 매체의 데이터 수집을 담당합니다. API 호출 제약으로 인해 어떤 어려움이 있었는지, 그리고 크라켄은 어떻게 이런 어려움을 극복했는지 알아보겠습니다. 비개발자도 편하게 읽으실 수 있도록 기술적인 내용은 후반부에 짧게 다룹니다. 어서 와, 광고 데이터 수집은 처음이지? 구글, 페이스북, 트
오토피디아
2022-06-25 · 약 4년 전
스타트업 데이터 배관공 생존기 1편 (DW.. 그거 어떻게 만드는건데)
화해
2022-06-23 · 약 4년 전
Data Lake 와 Data Warehouse DevDay에서 화해에서 데이터를 활용하는 과정에서 겪은 문제와 그 문제를 해결하기 위해 어떤 고민을 거쳐 Data Warehouse가 구축되고 있는지 소개하는 세션을 진행했는데, 당시의 발표자료를 다듬어 블로그에도 소개합니다.
야놀자클라우드
2022-06-13 · 약 4년 전
더핑크퐁컴퍼니
2022-06-10 · 약 4년 전
스캐터랩
2022-06-09 · 약 4년 전
대규모 머신러닝 데이터 파이프라인 개발하고 최적화하기
야놀자
2022-05-31 · 약 4년 전
화해
2022-04-15 · 4년 이상 전
화해 화장품 리뷰 데이터 활용_AI 파트 650만 건이 넘는 리뷰 데이터를 더 가치 있는 서비스로 만들기 위해 끊임없이 분석하고 기술을 개발하는 데이터팀 AI 파트의 인터뷰입니다. 리뷰 데이터가 어떻게 유저에게 보다 쉽게 전달되는지 확인해보세요.
매드업
2022-04-05 · 4년 이상 전
18세기 말 인류 최고의 수학자 가우스가 정규분포와 최소제곱법을 만든 이후로, 선형 모델(Linear Model)은 다양한 방향으로 진화했고 발전해왔다. 20세기 이후 컴퓨터 계산과 모델링 기법의 발전에 힘입어, 소위 말하는 “빅데이터” 시대에 복잡한 계산까지 해줄 수 있는 “머신러닝”, ”딥러닝”이 각광을 받고 있다. 데이터 분석가나 데이터 사이언티스트가 되고 싶은, 혹은 이미 현업에 있는 분들의 상당수가 머신러닝, 딥러닝에 열광하고 이를 적
화해
2022-04-01 · 4년 이상 전
데이터 드리븐 화해 데이터팀 분석 파트는 구성원들이 데이터 분석가에게 데이터를 요청하지 않아도 누구나 쉽게 데이터를 확인·활용할 수 있는 문화, 데이터를 봐야겠다는 의식 없이도 모든 업무와 생각의 흐름 안에 데이터가 녹아 있는 조직을 꿈꾸고 있다고 하는데요.
매드업
2022-04-01 · 4년 이상 전
Redshift to PG Data Convenience Store 개요 매드업은 레버에 안정적으로 데이터를 공급하고 광고사업부에게 데이터를 공급하기 위하여 AWS S3에 데이터를 적재합니다. 완전한 raw data 는 아니지만, 각 매체(Facebook, Google 등) 에서 주는 데이터를 그대로 적재 합니다. 그리고 지금까지 이 S3 파일들을 Athena 라는 서비스로 쿼리하여 사용하였습니다. 하지만 Athena가 비용 대비 속도도 느리고
버즈빌
2022-03-29 · 4년 이상 전
안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 이전 포스팅(DynamoDB를 사용하는 Go 서비스의 응답 시간 최적화 #1 AWS Credential Token)에 이어, Go 서비스에서 DynamoDB를 사용하면서 응답 시간 최적화를 시도한 경험을 공유드리도록 하겠습니다. 이번 편은 해결책을 만들지 못했지만, DynamoDB와 Go HTTP Clie…
플라네타리움
2022-03-29 · 4년 이상 전
안녕하세요. 플라네타리움 엔진팀에서 Libplanet을 개발하고 있는 이수호입니다. 오늘은 Libplanet을 개발하면서 생겼던 문제 중 블록체인에서 흔히 말하는 확정(Confirmation)으로 인해 생긴 문제와 그 문제를 발견하고 해결하는 과정을 이야기하고자 합니다. 확정(Confirmation) 블록체인에서의 블록은, 어떠한 사건이라고 볼 수 있고 체인은 사건으로 이루어진 일련의 시간 흐름이라고 볼 수 있습니다. 이전의 시간 흐름과는 맞지
버즈빌
2022-03-15 · 4년 이상 전
안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 이전 포스팅에서 Go의 HTTP 커넥션 풀에 관해 설명해 드렸습니다 (HTTP connection pool in Go explained). 이 포스팅에서는 Go 서비스에서 HTTP 요청에 대한 Trace를 남겨 DynamoDB 요청의 응답 시간에 큰 영향을 미치는 Credential Token 발급 로직을…
그린데이터
2022-02-18 · 4년 이상 전
마켓컬리
2022-02-15 · 4년 이상 전
맛있는 데이터를 만드는 방법
버즈빌
2022-02-04 · 4년 이상 전
버즈빌 개발팀에서는 매주 수요일, 모든 팀의 개발자들이 모여 본인이 관심있는 분야에 대한 노하우나 담당하고 있는 업무와 관련된 새로운 기술에 대한 논의를 진행하는 시간을 가지고 있습니다. 이 시간을 통해 내가 알고 있는 것들에 대해 더 확실히 알고 모르는 것들에 대해 배우며 이를 바탕으로 보다 효율적이고 창의적으로 업무를 진행하기 위해 노력하고 있습니다.…
화해
2022-01-28 · 4년 이상 전
logcat 안드로이드 플랫폼에서 데이터팀과 데이터 로그 프로세스 관련 논의 중 어떻게 하면 쉽게 확인할 수 있을지, 앱 개발로 이 문제를 해결할 수 있을지 고민하는 과정이 있었습니다. 그 결과 나온 방법을 소개해드리려 합니다.
페이지 14 / 17 (총 299개)