기업 기술블로그의 Data Engineering 관련 글 309개
안녕하세요. 이스트소프트 A.I. PLUS Lab입니다. 이번 포스팅에서는 머신러닝의 학습 방법 중 하나인 준지도학습(semi-supervised learning, SSL)에 대해 다루어보려고 합니다. SSL 자체가 워낙 거대한 주제이기 때문에 이번 포스트에서 전체적인 내용을 모두 다루기보다, 일부 방법론과 각 방법론에서 읽어 볼만한 주요 논문들을 소개하려고 합니다. 전체적인 흐름은 레퍼런스 [2]의 내용에 기반하고 있기 때문에 SSL 연구를.
안녕하세요, AI PLUS 테크블로그입니다. 오늘은 NER의 개념을 살펴보고, 포털에서 이를 어떻게 구현할 수 있을지 알아보려고 합니다. 1. NER 이란? NER은 Named Entity Recognition의 약자로, ‘개체명 인식’을 의미합니다. 개체명 인식이란 비정형 텍스트의 개체명 언급을 미리 정의된 카테고리(인명, 지명, 시간 등)로 분류하는것을 말하는데요. 오늘은 ‘미쓰에이 수지가 용인 수지에서 단독 공연을 개최하는건 수지에...
안녕하세요, AI PLUS 테크블로그입니다. 오늘은 이스트소프트와 자회사 줌인터넷, 이스트시큐리티가 총 100억 원 규모의 인공지능(AI) 정부 사업을 수주한 소식을 전달드리려고 합니다. 이스트소프트와 자회사가 수주한 AI 사업은 정부가 앞선 7월 발표한 ‘디지털 뉴딜’ 과제 중 하나인 ‘데이터 댐’ 구축과 ‘AI 바우처 지원’ 사업 등인데요. 먼저 이스트소프트는 한국정보화진흥원(NIA)으로부터 한국어방언 AI 데이터 구축, 안면인식...
일상 생활에서 우리는 영수증, 증명서, 계약서 등 다양한 문서를 접하는데요. 이렇게 다양한 문서 속에서 필요한 정보를 추출하고 처리하기 위해서는 많은 노력과 시간이 소요됩니다. 최근 이러한 불편을 해결할 수 있는 ‘자동화’에 대한 관심이 증가하면서 ‘Document Understanding(문서 이해)’의 중요성이 커지고 있는데요. 이번 글에서는 여러 논문들을 바탕으로 문서 이해 인공지능(AI)의 최신 연구 동향을...
2019년도 NeurIPS 학회의 논문 통계를 공유합니다 본 문서는 2019년 12월에 개최되었던 NeurIPS 2019(the Thirty-third Conference on Neural Information Processing Systems)에 게재된 논문들의 각종 통계 수치를 분석한 글입니다. Introduction NeurIPS는 세계 최고 권위의 인공지능 학회로, 1987년부터 매해 컨퍼런스를 개최하여 2019년 12월에는 캐나다 밴쿠
최근에 Tableau를 이용해서 회사 내에 TV 대시보드를 구축했습니다. 사무실 TV 대시보드 그 과정을 간단히 공유해 보려고 합니다. 글의 순서는 다음과 같이 진행될 예정입니다. Tableau에 대한 간단한 소개와 구축 동기 Tableau Server 설치하기 Prep Builder 로 데이터 흐름 만들기 Tableau Desktop으로 Dashboard 만들기 여러 개의 Dashboard를 자동으로 Rotation & Refresh 하기 윗
“새벽마다 Dead-Lock이 발생해서, DB서버가 뻗을려고 해요” 😱 😱 😱 울 회사에는 아직 DBA 담당 조직이 셋팅되어 있지 않아, 가끔씩 SQL관련된 기술지원을 부탁 받곤 합니다. (Health Data Bank를 지향하는 우리 회사, Data관련 기초 체력이 부실하다는 자아 비판을 해봅니다.) 각설하고, 기술 블로그도 생겼으니, Dead-Lock case 대처하는 방법을 정리 하고, 공유를 해보고자 합니다. 우선, Dead-Loc
웹 서비스를 통해 사용자로부터 데이터를 입력 받는 입장에서, 중복된 유형의 데이터를 대량으로 입력 받기 위해, 엑셀 파일 업로드를 이용하는 경우는 흔하게 사용되고 있는 방법입니다. 티몬 시스템에서도 엑셀 템플릿을 제공해주고, 템플릿에 데이터를 추가하여 업로드 처리하는 기능을 종종 사용하고 있는데요. 대량의 건수가 존재하는 엑셀 파일 업로드에서 몇 가지 문제점이 나와서, 효과적으로 처리할 방법을 찾다가 알게 된 엑셀 업로드 구현 방법이 있어 함께
들어가며… 최근 IT 기업을 중심으로 딥러닝 기술을 실제 서비스에 잘 활용하는 사례가 늘어가는 추세이고, 이러한 경향은 비단 IT 기술 기업뿐만 아니라 과학기술, 의료, 예술, 이커머스 등 다양한 분야로 확대되고 있습니다. 실제로 티몬에서도 딥러닝 기술을 다양한 곳에 활용하고 있는데요, 이번 포스팅에서는 이러한 활용 사례 중 한 가지를 소개합니다. 티몬에서는 최근 대량의 딜을 자동으로 등록하는 시스템을 도입하였습니다. 이때 수작업으로 일일이 상
여정의 시작 8퍼센트에서는 여전히 스터디가 꾸준히 이어지고 있다. 스터디를 마치면 자연스레 다음엔 무엇을 해볼까? 하는 기대감이 생기곤 한다. 이번에는 회사에서 메인으로 사용하고 있는 Django에 대해 조금 더 알아보고, 업무에도 바로 적용해 볼 수 있는 스터디를 하기로 결정했다. 호성님의 제안으로 우리는 Django ORM Cookbook 책을 공부해 보기로 했다. Django ORM Cookbook은 Django의 ORM과 모델의 다양한
안녕하세요! 저는 개발팀의 오형준입니다. 앞선 글에서 데이터팀의 지형님께서 ‘분석용 이벤트 로그 점검/정리하기’라는 Task가 어떤 Task이며, 왜 중요한지에 대해 다루었다면, 이번 글에서는 이번 Task의 프로세스, 앱개발팀과 데이터팀 간의 협업 방식, 각 팀의 업무 방식 등에 대해 다루어 보려합니다!
지그재그는 누적 다운로드 수 1,100만, MAU 200만을 넘어가고 있는 여성 쇼핑몰 모음 앱 서비스입니다. 그렇기 때문에 매일같이 지그재그에 쌓여가는 이용자들의 데이터 로그들도 어마어마하죠. 이와 같은 로그들은 이용자들이 각자 자신에게 맞는 쇼핑몰/상품을 더 쉽게, 편하게 찾을 수 있도록 도와주는 개인화 알고리즘의 핵심 자원이면서, 이용자들이 앱의 각 기능들을 잘 활용하고 있는지 파악하기 위한 사용성 분석에도 필수적입니다. 또한 서비스 운영
한사람이 딴짓을 하는 것 같은데.. 무엇을 배웠는가? 안영님의 요약을 통해 4장에서 관계형 데이터베이스, sqlite3을 다루는 방법을 공부했습니다. 관계형 데이터베이스 : 관계형 데이터 모델에 기초한 데이터베이스 관계형 데이터베이스에서 데이터는 행, 열의 2차원 테이블로 표현 테이블에서 고유 키로 각 열을 구별 다른 테이블과 연결 가능 SQL : 관계형 데이터베이스에서 데이터를 다루기 위해 사용하는 일반적인 명령어 집합 create table
치킨은 중요해 무엇을 배웠는가? 보람님이 3.6장 까지의 요약을 준비해 주셨습니다. 여러 개의 통합문서 살펴보기 파이썬 내장 모듈 glob, os를 사용해 파일 경로와 파일명을 파싱하여 처리하려는 입력 파일 리스트를 만들고 for문을 통해 리스트를 돌며 아래의 함수들을 이용하여 각 파일의 이름, 워크시트 개수, 행/열 개수 등을 살펴볼 수 있었습니다. os.path.basename: 경로의 기본이름(파일명)을 반환 book.nsheets: xl
오늘도 열정가득 무엇을 배웠는가? 현우님이 3.3장 까지의 요약을 준비해 주셨습니다. 엑셀 통합 문서를 Python을 사용하여 처리하는 방법 1.xlrd, xlwt 패키지 활용 2.팬더스 활용 단일 워크시트 처리 1.엑셀 파일 읽기 및 쓰기 xlwt의 add_sheet(), wirte(), xlrd의 open_workbook() 활용 2.날짜 형식 할당 datetime 모듈의 date(), xlrd의 xldate_as_tuple() 활용 3.팬
피자와 함께 요약 과정에서 무엇을 배웠는가? 현주님이 2.12장 까지의 요약을 준비해 주셨습니다. CSV파일로 저장되어 있는 데이터를 기본 파이썬 코드와 팬더스로 다루는 것을 공부했습니다. 연속된 행 선택하기 기본 파이썬 코드는 for문으로 row를 순환하면서 조건에 맞을 경우 writerow(row) 함수를 써서 저장한다. 팬더스에서는 drop속성을 써서 지정한 행을 삭제한 후 to_csv 함수를 써서 저장한다. 헤더 추가하기 기본 파이썬 코
티몬에 실시간 항공권 검색 서비스가 있다는 사실! 아시나요? : ) 티몬에서는 정해진 구간에 대한 항공권을 ‘딜’ 형태로 판매하는 상품도 있고, 내가 원하는 날짜와 여행지를 선택하여 항공권을 검색하는 ‘실시간 항공권 검색’ 서비스도 제공하고 있답니다. ▼ 항공권 검색 서비스에 대한 이용 방법은 여기서 확인해보세요! 항공권 검색 서비스 앞에 [실시간]이라는 단어가 붙는 이유는 무엇일까요? 너무 당연한 이야기이지만 항공 스케줄과 요금에 대한 ‘실시
페이지 17 / 18 (총 309개)
