한눈에 파악하는 데이터 (탐색적 데이터 분석)
소개안녕하세요:) 지마켓에서 데이터로 여러 가지 흥미로운 개발을 하고 있는 한한주입니다.이번에 소개해 드릴 내용은 탐색적 데이터 분석 흔히 EDA(Exploratory Data Analysis)라고 불리는 분석기법에 대한 내용입니다. 처음 정제되지 않은 대용량 데이터를 마주하면 정신이 혼미해 지기 쉽습니다^^; 이럴 때 데이터 형태를 정의하고 탐색적 분석을 통해 시각화하면 좀 더 친근하게 데이터 분석을 시작할 수 있습니다. 그럼 Start! EDA란?위키백과에 따르면 EDA는 미국의 저명한 통계학자가 창안한 자료 분석 방법론입니다. 기존의 통계학이 정보의 추출에서 가설 검정 등에 치우쳐 자료가 가지고 있는 본연의 의미를 찾는데 어려움이 있어, 이를 보완하고자 주어진 자료만 가지고도 충분한 정보를 찾을 수..
TFX 머신러닝 파이프라인 사용하기
팀에서 필요한 학습 파이프라인 구축하기
가볍게 시작하는 Databricks Community Edition 환경설정 for Spark
소개안녕하세요:) 지마켓에서 데이터로 여러 가지 흥미로운 개발을 하고 있는 한한주입니다.이번에 소개해 드릴 내용은 Databricks Community Edition에 대한 기본적인 설정과 사용법에 대한 내용입니다.Databricks Community Edition에서 제공하는 클라우드 환경을 사용하면 간단하게 Spark 작업환경을 만들 수 있어 Spark를 공부하고자 하거나 간단하게 테스트를 할 때 매우 유용합니다. (사실 제가 유용하게 사용했습니다^^;; 독자분들도 유용하게 사용하시기를 바라며..)이번 블로그에서는 Databricks Community Edition을 사용하여 무료로 간단히 Spark환경을 만들어 보도록 하겠습니다.그럼 Start!Databricks들어가기 앞서 먼저 Databrick..
Multi Task Learning 기반 챗봇 모델 개발
챗봇은 특정한 규칙 또는 인공지능(AI)을 기반으로 대화형 인터페이스를 통해 유저와 인터랙션 하는 서비스입니다. 현재 다양한 산업 분야에서 고객 응대를 위해 챗봇을 사용하고 있고, 고객과 직접적으로 연결된 서비스이기 때문에 챗봇에 대한 연구도 꾸준히 이뤄지고 있습니다. 게임은 매일 수천, 수만 명의 유저가 이용하는 서비스입니다. 이전에는 수많은 유저가 질문이나 요청을 하게 되면 GM이나 고객센터 담당자가 일일이 처리하였기 때문에 […]
VPT: 다이아몬드 곡괭이를 만들기 위한 여정
OpenAI에서 어떻게 다이아몬드 곡괭이를 만들었는지 알아봅니다. (VPT)
바삭한 신입들의 동시성 이야기 - Swift편
Swift 5.5에 도입된 async, await 문법의 등장 배경과 동작 원리를 알아봅니다.
모델 서빙 최적화를 위한 프레임워크 선정과 서빙 성능 극대화하기
카카오페이에서 효율적인 모델 서빙을 위해 프레임워크를 도입한 과정과 프레임워크의 성능 최적화를 위해 테스트한 결과를 공유합니다.
9가지 프로그래밍 언어로 배우는 개념: 2편 - 다형성
프로그래밍 언어들을 비교해가며 다형성을 알아보고 더 나은 코드를 작성하는 방법을 고민해봅니다.
MySQL만 써봤는데... MongoDB 프로젝트에 투입됐다🤯
빅데이터라는 시대의 요구에 맞추어 NoSQL이 등장한 지 십 년이 넘는 세월이 흘렀습니다. 하지만, 아직 RDB에 비해서 스키마 설계를 위한 참고 자료가 부족하다고 생각되는데요. 저 또한 MySQL만 사용해오던 백엔드 개발자로서 신규 프로젝트에서 갑작스럽게 MongoDB 스키마를 설계하게 되어 꽤 당혹스러웠던 경험이 있습니다. 저처럼 NoSQL, 그중에서도 MongoDB를 처음 사용하게 된 개발자들을 위해서 빠르게 기본 개념을 훑고 바로 스키마 설계가 가능하도록 도움을 줄 수 있는 글을 써보려 합니다. 그래서 MongoDB를 도대체 왜 쓰는데? NoSQL/MongoDB 이름만 들어본 분들을 위해 특징 및 사용목적을 간단하게만 짚고 넘어가는 게 좋을 것 같습니다. 인터넷 서비스가 점점 많은 곳에 보급되고..
GPS 정보로 교통정보 생성하는 방법 - 13편 – 특정 시간대에 특정 도로의 교통정보를 계산해보자
내비게이션이 현재 차량의 위치정보를 확인하고 길안내를 서비스할 때, 내비 앱에는 GPS 정보들이 쌓이게 됩니다. 이런 GPS 정보로 운전자가 어떤 도로에서 얼마의 속도로 운행했는지를 알 수 있고, 이를 모아 해당 도로의 교통정보를 생성할 수 있는데요. 오늘은 ‘GPS 정보를 이용해 도로의 운행 속도 정보를 계산하는 방법’에 대해서 소개하고자 합니다. (물론
Continual Learning: 꾸준히 성장하는 모델을 만들기 위한 기술
주제별로 알아보는 continual learning
바삭한 신입들의 동시성 이야기 - Kotlin 편
마이쿠키런 신입 안드로이드 개발자의 Kotlin Coroutine 탐방기
9가지 프로그래밍 언어로 배우는 개념: 1편 - 타입 이론
프로그래밍 언어들을 비교해가며 타입 이론을 알아보고 더 나은 코드를 작성하는 방법을 고민해봅니다.
상품 추천 알고리즘 Item-CF의 최적화 여정
만 30개의 이커머스을 광고주로 삼고 있는 버즈빌. 이들을 위한 리타겟팅 광고 솔루션을 고도화하기 위해 도입된 상품 추천 알고리즘: Item-CF. 이 알고리즘 최적화와 적용 과정에 대해서 알아보겠습니다. 버즈빌의 리타겟팅 광고 솔루션 버즈빌에서는 매출의 20% 이상을 리타겟팅 광고 상품으로 발생시키고 있습니다. 전통적으로는 리타겟팅 광고는 유저가 이커머스…
[여의도 43층 사람들] Data Engineer 에게 무엇이든 물어보세요!
뱅크샐러드 Data Engineer는 무슨 일을 하나요? 뱅크샐러드 Data Engineer…
[여의도 43층 사람들] Data Scientist & Analyst 에게 무엇이든 물어보세요!
뱅크샐러드 Data Scientist & Analyst 는 무슨 일을 하나요? 뱅크샐러드 Data Scientist 와 Data Analyst…
java 코드는 어떻게 자동으로 만들어질까(2/2)
Vision API로 카드번호 인식 개발하기(OCR) - 12편 – 티맵 내 많은 모빌리티 서비스 결제를 위한 필수 기능!
티맵 앱에는 대리운전, 킥보드, 전기차 충전, 주차, 픽업 같이 앱 내 결제를 필요로 하는 많은 서비스들이 있습니다. 티맵 결제 서비스는 앱 내 결제를 위해서 신용카드를 등록할 때 OCR(Optical Character Recognition, 광학 문자 인식) 기능을 제공하는데요. OCR은 ‘텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과