Data Engineering 글 모음

카카오스타일

2018-08-23 · 거의 8년 전

안녕하세요! 저는 개발팀의 오형준입니다. 앞선 글에서 데이터팀의 지형님께서 ‘분석용 이벤트 로그 점검/정리하기’라는 Task가 어떤 Task이며, 왜 중요한지에 대해 다루었다면, 이번 글에서는 이번 Task의 프로세스, 앱개발팀과 데이터팀 간의 협업 방식, 각 팀의 업무 방식 등에 대해 다루어 보려합니다!

카카오스타일

2018-07-10 · 약 8년 전

지그재그는 누적 다운로드 수 1,100만, MAU 200만을 넘어가고 있는 여성 쇼핑몰 모음 앱 서비스입니다. 그렇기 때문에 매일같이 지그재그에 쌓여가는 이용자들의 데이터 로그들도 어마어마하죠. 이와 같은 로그들은 이용자들이 각자 자신에게 맞는 쇼핑몰/상품을 더 쉽게, 편하게 찾을 수 있도록 도와주는 개인화 알고리즘의 핵심 자원이면서, 이용자들이 앱의 각 기능들을 잘 활용하고 있는지 파악하기 위한 사용성 분석에도 필수적입니다. 또한 서비스 운영

8퍼센트

2018-02-05 · 8년 이상 전

한사람이 딴짓을 하는 것 같은데.. 무엇을 배웠는가? 안영님의 요약을 통해 4장에서 관계형 데이터베이스, sqlite3을 다루는 방법을 공부했습니다. 관계형 데이터베이스 : 관계형 데이터 모델에 기초한 데이터베이스 관계형 데이터베이스에서 데이터는 행, 열의 2차원 테이블로 표현 테이블에서 고유 키로 각 열을 구별 다른 테이블과 연결 가능 SQL : 관계형 데이터베이스에서 데이터를 다루기 위해 사용하는 일반적인 명령어 집합 create table

8퍼센트

2018-01-22 · 8년 이상 전

치킨은 중요해 무엇을 배웠는가? 보람님이 3.6장 까지의 요약을 준비해 주셨습니다. 여러 개의 통합문서 살펴보기 파이썬 내장 모듈 glob, os를 사용해 파일 경로와 파일명을 파싱하여 처리하려는 입력 파일 리스트를 만들고 for문을 통해 리스트를 돌며 아래의 함수들을 이용하여 각 파일의 이름, 워크시트 개수, 행/열 개수 등을 살펴볼 수 있었습니다. os.path.basename: 경로의 기본이름(파일명)을 반환 book.nsheets: xl

8퍼센트

2018-01-15 · 8년 이상 전

오늘도 열정가득 무엇을 배웠는가? 현우님이 3.3장 까지의 요약을 준비해 주셨습니다. 엑셀 통합 문서를 Python을 사용하여 처리하는 방법 1.xlrd, xlwt 패키지 활용 2.팬더스 활용 단일 워크시트 처리 1.엑셀 파일 읽기 및 쓰기 xlwt의 add_sheet(), wirte(), xlrd의 open_workbook() 활용 2.날짜 형식 할당 datetime 모듈의 date(), xlrd의 xldate_as_tuple() 활용 3.팬

8퍼센트

2018-01-08 · 8년 이상 전

피자와 함께 요약 과정에서 무엇을 배웠는가? 현주님이 2.12장 까지의 요약을 준비해 주셨습니다. CSV파일로 저장되어 있는 데이터를 기본 파이썬 코드와 팬더스로 다루는 것을 공부했습니다. 연속된 행 선택하기 기본 파이썬 코드는 for문으로 row를 순환하면서 조건에 맞을 경우 writerow(row) 함수를 써서 저장한다. 팬더스에서는 drop속성을 써서 지정한 행을 삭제한 후 to_csv 함수를 써서 저장한다. 헤더 추가하기 기본 파이썬 코

티몬

2017-11-21 · 8년 이상 전

티몬에 실시간 항공권 검색 서비스가 있다는 사실! 아시나요? : ) 티몬에서는 정해진 구간에 대한 항공권을 ‘딜’ 형태로 판매하는 상품도 있고, 내가 원하는 날짜와 여행지를 선택하여 항공권을 검색하는 ‘실시간 항공권 검색’ 서비스도 제공하고 있답니다. ▼ 항공권 검색 서비스에 대한 이용 방법은 여기서 확인해보세요! 항공권 검색 서비스 앞에 [실시간]이라는 단어가 붙는 이유는 무엇일까요? 너무 당연한 이야기이지만 항공 스케줄과 요금에 대한 ‘실시

8퍼센트

2017-07-18 · 약 9년 전

무엇을 공부했나요? Two scoops of Django 6장은 Django에서 Model을 ‘올바르게’ 사용하는 법에 대한 내용이었습니다. 안영님께서 6장의 자료를 요약 및 설명해주셨고, 연태님께서 ‘데이터베이스 정규화’라는 심화 자료를 준비해 발표해주셨습니다. 그리고 김진홍님이 새로운 스터디 멤버로 합류하셨습니다. 스터디중 다루었던 이야기들은 아래와 같습니다. 6장 장고에서 모델 이용하기 모델은 충분히 깊이 생각해서 만들어야 한다 너무 큰

8퍼센트

2017-07-06 · 약 9년 전

올해 2월에 썼던 글을 이제야 올려봅니다. 태블로는 아직 잘 사용하고 있습니다. : ) “아무개 님, 지난번에 요청한 자료 언제까지 받을 수 있죠?” 다행이다. 꿈 이었다. 가벼운 발걸음으로 출근하던 중 일감 하나가 떠오른다. 간밤의 꿈이 꿈 만은 아니었던게다. 아뿔싸, 아직 시작도 못했는데. 오늘 할 일을 내일로 미룬 자의 아침은 발걸음이 무겁다. Business Intelligence 라는 것이 있다. 뭔가 멋드러진 단어의 조합처럼 보이지만

티몬

2017-06-05 · 약 9년 전

Spring data는 custom object-mapping 추상화를 지원하고 이를 통해 개발자가 다양한 데이터 저장소에 직접 access layer를 구현할 필요가 없도록 도와줍니다. 이러한 장점을 활용해 보기 위한 Repository 적용기를 소개합니다. 이번 2부에서는 직접 생성해 조회해야 했던 ViewQuery를 spring-data-couchbase의 view 기반 쿼리 메소드를 이용하도록 수정하는 과정을 다룹니다. 1. 간단한 CR