기업 기술블로그의 Data Engineering 관련 글 340개
2019년도 NeurIPS 학회의 논문 통계를 공유합니다 본 문서는 2019년 12월에 개최되었던 NeurIPS 2019(the Thirty-third Conference on Neural Information Processing Systems)에 게재된 논문들의 각종 통계 수치를 분석한 글입니다. Introduction NeurIPS는 세계 최고 권위의 인공지능 학회로, 1987년부터 매해 컨퍼런스를 개최하여 2019년 12월에는 캐나다 밴쿠
최근에 Tableau를 이용해서 회사 내에 TV 대시보드를 구축했습니다. 사무실 TV 대시보드 그 과정을 간단히 공유해 보려고 합니다. 글의 순서는 다음과 같이 진행될 예정입니다. Tableau에 대한 간단한 소개와 구축 동기 Tableau Server 설치하기 Prep Builder 로 데이터 흐름 만들기 Tableau Desktop으로 Dashboard 만들기 여러 개의 Dashboard를 자동으로 Rotation & Refresh 하기 윗
“새벽마다 Dead-Lock이 발생해서, DB서버가 뻗을려고 해요” 😱 😱 😱 울 회사에는 아직 DBA 담당 조직이 셋팅되어 있지 않아, 가끔씩 SQL관련된 기술지원을 부탁 받곤 합니다. (Health Data Bank를 지향하는 우리 회사, Data관련 기초 체력이 부실하다는 자아 비판을 해봅니다.) 각설하고, 기술 블로그도 생겼으니, Dead-Lock case 대처하는 방법을 정리 하고, 공유를 해보고자 합니다. 우선, Dead-Loc
웹 서비스를 통해 사용자로부터 데이터를 입력 받는 입장에서, 중복된 유형의 데이터를 대량으로 입력 받기 위해, 엑셀 파일 업로드를 이용하는 경우는 흔하게 사용되고 있는 방법입니다. 티몬 시스템에서도 엑셀 템플릿을 제공해주고, 템플릿에 데이터를 추가하여 업로드 처리하는 기능을 종종 사용하고 있는데요. 대량의 건수가 존재하는 엑셀 파일 업로드에서 몇 가지 문제점이 나와서, 효과적으로 처리할 방법을 찾다가 알게 된 엑셀 업로드 구현 방법이 있어 함께
들어가며… 최근 IT 기업을 중심으로 딥러닝 기술을 실제 서비스에 잘 활용하는 사례가 늘어가는 추세이고, 이러한 경향은 비단 IT 기술 기업뿐만 아니라 과학기술, 의료, 예술, 이커머스 등 다양한 분야로 확대되고 있습니다. 실제로 티몬에서도 딥러닝 기술을 다양한 곳에 활용하고 있는데요, 이번 포스팅에서는 이러한 활용 사례 중 한 가지를 소개합니다. 티몬에서는 최근 대량의 딜을 자동으로 등록하는 시스템을 도입하였습니다. 이때 수작업으로 일일이 상
여정의 시작 8퍼센트에서는 여전히 스터디가 꾸준히 이어지고 있다. 스터디를 마치면 자연스레 다음엔 무엇을 해볼까? 하는 기대감이 생기곤 한다. 이번에는 회사에서 메인으로 사용하고 있는 Django에 대해 조금 더 알아보고, 업무에도 바로 적용해 볼 수 있는 스터디를 하기로 결정했다. 호성님의 제안으로 우리는 Django ORM Cookbook 책을 공부해 보기로 했다. Django ORM Cookbook은 Django의 ORM과 모델의 다양한
안녕하세요! 저는 개발팀의 오형준입니다. 앞선 글에서 데이터팀의 지형님께서 ‘분석용 이벤트 로그 점검/정리하기’라는 Task가 어떤 Task이며, 왜 중요한지에 대해 다루었다면, 이번 글에서는 이번 Task의 프로세스, 앱개발팀과 데이터팀 간의 협업 방식, 각 팀의 업무 방식 등에 대해 다루어 보려합니다!
지그재그는 누적 다운로드 수 1,100만, MAU 200만을 넘어가고 있는 여성 쇼핑몰 모음 앱 서비스입니다. 그렇기 때문에 매일같이 지그재그에 쌓여가는 이용자들의 데이터 로그들도 어마어마하죠. 이와 같은 로그들은 이용자들이 각자 자신에게 맞는 쇼핑몰/상품을 더 쉽게, 편하게 찾을 수 있도록 도와주는 개인화 알고리즘의 핵심 자원이면서, 이용자들이 앱의 각 기능들을 잘 활용하고 있는지 파악하기 위한 사용성 분석에도 필수적입니다. 또한 서비스 운영
한사람이 딴짓을 하는 것 같은데.. 무엇을 배웠는가? 안영님의 요약을 통해 4장에서 관계형 데이터베이스, sqlite3을 다루는 방법을 공부했습니다. 관계형 데이터베이스 : 관계형 데이터 모델에 기초한 데이터베이스 관계형 데이터베이스에서 데이터는 행, 열의 2차원 테이블로 표현 테이블에서 고유 키로 각 열을 구별 다른 테이블과 연결 가능 SQL : 관계형 데이터베이스에서 데이터를 다루기 위해 사용하는 일반적인 명령어 집합 create table
치킨은 중요해 무엇을 배웠는가? 보람님이 3.6장 까지의 요약을 준비해 주셨습니다. 여러 개의 통합문서 살펴보기 파이썬 내장 모듈 glob, os를 사용해 파일 경로와 파일명을 파싱하여 처리하려는 입력 파일 리스트를 만들고 for문을 통해 리스트를 돌며 아래의 함수들을 이용하여 각 파일의 이름, 워크시트 개수, 행/열 개수 등을 살펴볼 수 있었습니다. os.path.basename: 경로의 기본이름(파일명)을 반환 book.nsheets: xl
오늘도 열정가득 무엇을 배웠는가? 현우님이 3.3장 까지의 요약을 준비해 주셨습니다. 엑셀 통합 문서를 Python을 사용하여 처리하는 방법 1.xlrd, xlwt 패키지 활용 2.팬더스 활용 단일 워크시트 처리 1.엑셀 파일 읽기 및 쓰기 xlwt의 add_sheet(), wirte(), xlrd의 open_workbook() 활용 2.날짜 형식 할당 datetime 모듈의 date(), xlrd의 xldate_as_tuple() 활용 3.팬
피자와 함께 요약 과정에서 무엇을 배웠는가? 현주님이 2.12장 까지의 요약을 준비해 주셨습니다. CSV파일로 저장되어 있는 데이터를 기본 파이썬 코드와 팬더스로 다루는 것을 공부했습니다. 연속된 행 선택하기 기본 파이썬 코드는 for문으로 row를 순환하면서 조건에 맞을 경우 writerow(row) 함수를 써서 저장한다. 팬더스에서는 drop속성을 써서 지정한 행을 삭제한 후 to_csv 함수를 써서 저장한다. 헤더 추가하기 기본 파이썬 코
티몬에 실시간 항공권 검색 서비스가 있다는 사실! 아시나요? : ) 티몬에서는 정해진 구간에 대한 항공권을 ‘딜’ 형태로 판매하는 상품도 있고, 내가 원하는 날짜와 여행지를 선택하여 항공권을 검색하는 ‘실시간 항공권 검색’ 서비스도 제공하고 있답니다. ▼ 항공권 검색 서비스에 대한 이용 방법은 여기서 확인해보세요! 항공권 검색 서비스 앞에 [실시간]이라는 단어가 붙는 이유는 무엇일까요? 너무 당연한 이야기이지만 항공 스케줄과 요금에 대한 ‘실시
무엇을 공부했나요? Two scoops of Django 6장은 Django에서 Model을 ‘올바르게’ 사용하는 법에 대한 내용이었습니다. 안영님께서 6장의 자료를 요약 및 설명해주셨고, 연태님께서 ‘데이터베이스 정규화’라는 심화 자료를 준비해 발표해주셨습니다. 그리고 김진홍님이 새로운 스터디 멤버로 합류하셨습니다. 스터디중 다루었던 이야기들은 아래와 같습니다. 6장 장고에서 모델 이용하기 모델은 충분히 깊이 생각해서 만들어야 한다 너무 큰
올해 2월에 썼던 글을 이제야 올려봅니다. 태블로는 아직 잘 사용하고 있습니다. : ) “아무개 님, 지난번에 요청한 자료 언제까지 받을 수 있죠?” 다행이다. 꿈 이었다. 가벼운 발걸음으로 출근하던 중 일감 하나가 떠오른다. 간밤의 꿈이 꿈 만은 아니었던게다. 아뿔싸, 아직 시작도 못했는데. 오늘 할 일을 내일로 미룬 자의 아침은 발걸음이 무겁다. Business Intelligence 라는 것이 있다. 뭔가 멋드러진 단어의 조합처럼 보이지만
Spring data는 custom object-mapping 추상화를 지원하고 이를 통해 개발자가 다양한 데이터 저장소에 직접 access layer를 구현할 필요가 없도록 도와줍니다. 이러한 장점을 활용해 보기 위한 Repository 적용기를 소개합니다. 이번 2부에서는 직접 생성해 조회해야 했던 ViewQuery를 spring-data-couchbase의 view 기반 쿼리 메소드를 이용하도록 수정하는 과정을 다룹니다. 1. 간단한 CR
페이지 19 / 19 (총 340개)
