Data Engineering 글 모음

안녕하세요, AI PLUS Tech Blog입니다. 오늘은 지난달 소개드린 고용률 예측 모델의 개발 과정을 이어 설명드리려고 합니다. 지난 1편에서는 뉴스 기사로부터 고용 시장에 대한 감정 정보(긍정/부정/보통)를 추출하는 부분을 다뤘는데요. 오늘은 이렇게 추출된 감정 정보로부터 미래 고용률을 현재 예보(nowcasting)하는 과정에 대해 중점적으로 살펴보려고 합니다. 본격적인 개발 과정을 소개하기 앞서, 1편을 못 보신...

엔라이즈

2021-03-04 · 5년 이상 전

안녕하세요. 위피/콰트의 데이터 분석을 맡고 있는 신민용입니다. 오늘 소개해드릴 내용은 저희 제품팀이 어떻게 실험을 하고 있으며, 어떤 방법론을 활용하여 진행하고 있는지에 대해서 소개해드린 후 앞으로의 방향도 짧게 다뤄보겠습니다. 본격적인 소개에 앞서 저희의 전체 실험 플로우를 나타내는 그래프입니다.

안녕하세요, AI PLUS Tech Blog입니다. 오늘은 줌인터넷에서 등록한 가짜뉴스 관련 특허에 대해 간단히 소개드리려고 합니다. 1. 가짜뉴스란? 먼저 특허 내용을 소개하기 앞서, 특허가 나오게 된 배경인 ‘가짜뉴스’에 대해 알아보겠습니다. ‘가짜뉴스’라고 하면 어떤 뉴스가 떠오르시나요? 아마 아래 <그림1>과 같이 거짓으로 꾸며진 뉴스를 생각하실 것 같은데요! 그림1. 흔히 생각되는 가짜뉴스 예시 이러한...

카카오헤어샵

2021-01-26 · 5년 이상 전

안녕하세요:) 카카오헤어샵 백엔드 개발자 ian입니다! 이번 주제는 Spring Data REST + Spring Data JPA를 이용해 REST API를 손쉽게 만들 수 있는 방법을 공유하겠습니다. 먼저, 보편적으로 REST API 생성 시 구조는 아래와 같을 것입니다. (Controller -> Service -> Repository) - Con

안녕하세요. 이스트소프트 A.I. PLUS Lab입니다. 이번 포스팅에서는 머신러닝의 학습 방법 중 하나인 준지도학습(semi-supervised learning, SSL)에 대해 다루어보려고 합니다. SSL 자체가 워낙 거대한 주제이기 때문에 이번 포스트에서 전체적인 내용을 모두 다루기보다, 일부 방법론과 각 방법론에서 읽어 볼만한 주요 논문들을 소개하려고 합니다. 전체적인 흐름은 레퍼런스 [2]의 내용에 기반하고 있기 때문에 SSL 연구를.

안녕하세요, AI PLUS 테크블로그입니다. 오늘은 NER의 개념을 살펴보고, 포털에서 이를 어떻게 구현할 수 있을지 알아보려고 합니다. 1. NER 이란? NER은 Named Entity Recognition의 약자로, ‘개체명 인식’을 의미합니다. 개체명 인식이란 비정형 텍스트의 개체명 언급을 미리 정의된 카테고리(인명, 지명, 시간 등)로 분류하는것을 말하는데요. 오늘은 ‘미쓰에이 수지가 용인 수지에서 단독 공연을 개최하는건 수지에...

안녕하세요, AI PLUS 테크블로그입니다. 오늘은 이스트소프트와 자회사 줌인터넷, 이스트시큐리티가 총 100억 원 규모의 인공지능(AI) 정부 사업을 수주한 소식을 전달드리려고 합니다. 이스트소프트와 자회사가 수주한 AI 사업은 정부가 앞선 7월 발표한 ‘디지털 뉴딜’ 과제 중 하나인 ‘데이터 댐’ 구축과 ‘AI 바우처 지원’ 사업 등인데요. 먼저 이스트소프트는 한국정보화진흥원(NIA)으로부터 한국어방언 AI 데이터 구축, 안면인식...

일상 생활에서 우리는 영수증, 증명서, 계약서 등 다양한 문서를 접하는데요. 이렇게 다양한 문서 속에서 필요한 정보를 추출하고 처리하기 위해서는 많은 노력과 시간이 소요됩니다. 최근 이러한 불편을 해결할 수 있는 ‘자동화’에 대한 관심이 증가하면서 ‘Document Understanding(문서 이해)’의 중요성이 커지고 있는데요. 이번 글에서는 여러 논문들을 바탕으로 문서 이해 인공지능(AI)의 최신 연구 동향을...

ZUM

2020-02-27 · 6년 이상 전

2019년도 NeurIPS 학회의 논문 통계를 공유합니다 본 문서는 2019년 12월에 개최되었던 NeurIPS 2019(the Thirty-third Conference on Neural Information Processing Systems)에 게재된 논문들의 각종 통계 수치를 분석한 글입니다. Introduction NeurIPS는 세계 최고 권위의 인공지능 학회로, 1987년부터 매해 컨퍼런스를 개최하여 2019년 12월에는 캐나다 밴쿠

8퍼센트

2020-01-10 · 6년 이상 전

최근에 Tableau를 이용해서 회사 내에 TV 대시보드를 구축했습니다. 사무실 TV 대시보드 그 과정을 간단히 공유해 보려고 합니다. 글의 순서는 다음과 같이 진행될 예정입니다. Tableau에 대한 간단한 소개와 구축 동기 Tableau Server 설치하기 Prep Builder 로 데이터 흐름 만들기 Tableau Desktop으로 Dashboard 만들기 여러 개의 Dashboard를 자동으로 Rotation & Refresh 하기 윗

유비케어

2019-04-30 · 약 7년 전

“새벽마다 Dead-Lock이 발생해서, DB서버가 뻗을려고 해요” 😱 😱 😱 울 회사에는 아직 DBA 담당 조직이 셋팅되어 있지 않아, 가끔씩 SQL관련된 기술지원을 부탁 받곤 합니다. (Health Data Bank를 지향하는 우리 회사, Data관련 기초 체력이 부실하다는 자아 비판을 해봅니다.) 각설하고, 기술 블로그도 생겼으니, Dead-Lock case 대처하는 방법을 정리 하고, 공유를 해보고자 합니다. 우선, Dead-Loc

티몬

2019-04-04 · 7년 이상 전

웹 서비스를 통해 사용자로부터 데이터를 입력 받는 입장에서, 중복된 유형의 데이터를 대량으로 입력 받기 위해, 엑셀 파일 업로드를 이용하는 경우는 흔하게 사용되고 있는 방법입니다. 티몬 시스템에서도 엑셀 템플릿을 제공해주고, 템플릿에 데이터를 추가하여 업로드 처리하는 기능을 종종 사용하고 있는데요. 대량의 건수가 존재하는 엑셀 파일 업로드에서 몇 가지 문제점이 나와서, 효과적으로 처리할 방법을 찾다가 알게 된 엑셀 업로드 구현 방법이 있어 함께

티몬

2019-03-07 · 7년 이상 전

들어가며… 최근 IT 기업을 중심으로 딥러닝 기술을 실제 서비스에 잘 활용하는 사례가 늘어가는 추세이고, 이러한 경향은 비단 IT 기술 기업뿐만 아니라 과학기술, 의료, 예술, 이커머스 등 다양한 분야로 확대되고 있습니다. 실제로 티몬에서도 딥러닝 기술을 다양한 곳에 활용하고 있는데요, 이번 포스팅에서는 이러한 활용 사례 중 한 가지를 소개합니다. 티몬에서는 최근 대량의 딜을 자동으로 등록하는 시스템을 도입하였습니다. 이때 수작업으로 일일이 상

8퍼센트

2018-10-06 · 거의 8년 전

여정의 시작 8퍼센트에서는 여전히 스터디가 꾸준히 이어지고 있다. 스터디를 마치면 자연스레 다음엔 무엇을 해볼까? 하는 기대감이 생기곤 한다. 이번에는 회사에서 메인으로 사용하고 있는 Django에 대해 조금 더 알아보고, 업무에도 바로 적용해 볼 수 있는 스터디를 하기로 결정했다. 호성님의 제안으로 우리는 Django ORM Cookbook 책을 공부해 보기로 했다. Django ORM Cookbook은 Django의 ORM과 모델의 다양한