Data Engineering 글 모음

ZUM

2021-12-20 · 4년 이상 전

DynamoDB를 소개하며 RDBMS ERD기반 설계에서 DynamoDB로 Reverse Modeling하는 방법을 공유합니다. 1. DynamoDB 도입 배경 현재 스타트줌(https://start.zum.com/)에서 개인 별 배경화면 / 레이아웃 / 위치설정 / 사이트 바로가기를 설정할 수 있습니다. 해당 데이터들은 브라우저 로컬 스토리지에 저장되어서 페이지가 렌더링 될 때 로컬 스토리지의 데이터를 읽어서 렌더링하고 있습니다. 그렇기 때문

NC소프트 DANBI

2021-11-05 · 4년 이상 전

0. 시작하며 개발자라면 누구나 성능 향상에 대한 고민을 해 본 적이 있을 것입니다. 다른 분야도 마찬가지겠지만, ETL에 있어서도 성능을 향상시키는 것은 굉장히 중요한 부분입니다. 성능이 저하됨에 따라서 원하는 시간 내에 ETL 작업이 완료되지 못할 수도 있고, 특정 작업이 자원을 많이 차지함에 따라서 다른 작업의 수행 속도에 안 좋은 영향을 끼칠 수도 있으니 말이에요. 이번 게시글에서는 Hive측면과 RDBMS 측면에서 쿼리 수정을 통해 성

NC소프트 DANBI

2021-09-17 · 거의 5년 전

HR Analytics와 구조방정식 ​ ​ 최근 HR Analytics, People Analytics에 대한 관심이 뜨겁다. 기존 조직과 구성원에 대한 문제들을 데이터 분석을 통해 확인하려는 시도가 주목을 받고 있다. HR Analytics는 다양한 분석 주제들을 가지고 있는데, 그 중에서도 ‘성과’, ‘역량’, ‘리더십’, ‘조직문화’ 등의 주제에 관심이 깊고, 관련된 연구나 분석 사례가 많이 소개되고 있다. 구체적인 가설을 생각해보면, ‘

마키나락스

2021-08-31 · 거의 5년 전

마키나락스의 Platform 팀에서는 Kubeflow를 기반으로 하여 ML/DL 모델의 실험과 배포의 간극을 줄이는 MLOps 플랫폼을 개발하고 있습니다. Kubeflow는 ML Workflow 를 Kubernetes-native하게 실행하고 관리할 수 있는 플랫폼이지만, 아직 v1.0 이 released 된 지 약 1년 반 정도밖에 지나지 않은 프로젝트이기에 Kubernetes에 익숙하지 않은 Data Scientist, ML Engineer

엔라이즈

2021-07-27 · 약 5년 전

안녕하세요. 위피/콰트의 데이터 분석을 맡고 있는 신민용입니다. 이번에 소개해드릴 내용은 엔라이즈 데이터 분석가의 A to Z를 말씀드리려고 합니다. 데이터 분석가는 무슨 업무를 하는지, 어떻게 일을하고 있는지에 대해서 소개하겠습니다. 분석가의 업무 ß 결론부터 말씀드리면, 분석가의 업무에는 제약도 제한도 없습니다.

NC소프트 DANBI

2021-07-23 · 약 5년 전

0. 시작하며 정답이 없다는 것은 참 어려운 것 같습니다. 마치 이 도입부를 쓰는 데에 제가 1시간 30분이 넘는 시간 동안 하얀색 화면을 보며 어떠한 말로 이 포스팅을 시작하면 좋을지 고민한 것처럼요. 본문은 쉽습니다. 제가 이 포스팅에서 쓰고자 한 내용을 전달하면 되니까요. 마무리 역시 모든 내용을 정리하며 끝마치는 내용을 적으면 되니 어려울 것도 없습니다. 그러나 도입부는 그러한 가이드라인이 없어서 어떻게 해야 잘 쓴 도입부일까 하는 고민

똑똑한개발자

2021-07-22 · 약 5년 전

안녕하세요, 똑똑한개발자에서 백엔드 개발을 하고 있는 권창식입니다. 벌써 3번째 데이터베이스 이야기입니다.😃 오늘은 데이터베이스 관계의 개념에 대해 소개해드리고 자 합니다. 관계의 정의 관계는 개체와 개체 사이의 논리적인 연결을 의미합니다. 관계에는 개체 간의 관계와 속성 간의 관계가 있습니다. 관계의 형태 1:1(One To One) : 개체 집합 A의 각 원소가 개체 집합 B의 원소 한 개와 대응하는 관계입니다. 1:N(One To Man

화해

2021-07-08 · 약 5년 전

화해가 개인정보를 보호하는 방법 화해팀은 정보보안 조직에서 전사적으로 현황을 파악하여 흩어져 관리되던 개인정보를 통합하여 관리하고 점검해나가고 있습니다. 또한, 개인정보 라이프사이클에 따른 단계별 보안 전략에 따라 법적 준거성 검토를 포함하여 안전한 관리방안을 마련하고 있습니다.

화해

2021-07-02 · 약 5년 전

딥러닝 만약 리뷰에 쓰인 제품 속성을 추출하고 주요한 속성정보만 사용자에게 제공하면 더 좋은 고객 경험을 만들 수 있지 않을까? 추출한 제품 속성을 정량화한다면 기존에는 알기 힘들었던 제품의 특징으로 볼 수 있지 않을까?

“기사를 단 3줄로 요약해주는 AI” 안녕하세요, 오늘은 줌인터넷이 연합뉴스와 공동 개발한 AI 기반 ‘뉴스 세 줄 요약’ 서비스에 대한 연구 내용을 소개드리려고 합니다. 해당 서비스는 기사 요약 AI 기술이 국내 언론에 최초로 도입된 사례로, 현재 연합뉴스 홈페이지에서 확인할 수 있는데요. 지금부터 해당 연구 내용의 소개와 학습 데이터 구축 과정을 중점적으로...

마키나락스

2021-05-21 · 약 5년 전

마키나락스는 제조업에서 실시간으로 생산 장비와 공정의 고장 및 이상을 사전에 예측하는 이상탐지 시스템을 제공하고 있습니다. 이상탐지 시스템을 적용하고자 하는 제조 생산 현장은 제품 및 공정의 변화가 잦은 곳이 많습니다. 공정이 변하면 데이터 분포가 달라지기 때문에, 사전에 학습된 모델이 적용하려는 시점에는 정상 작동하기 어렵습니다. 이런 문제를 해결하기 위해 학습과 추론이 동시에 가능한 코드 형태로 모델을 배포하고, 배포된 동안 새롭게 수집한

NC소프트 DANBI

2021-05-20 · 약 5년 전

들어가며 앞선 포스팅에서는 저희 회사 게임을 대상으로 좋은 아이템(영웅/전설 등급 전직 아이템)이 유저의 게임 플레이에 영향을 미치는지 인과 분석한 내용을 소개해 드렸습니다.(게임 플레이어는 좋은 아이템을 획득하면 게임을 더 열심히 하게 될까?). 접속 일수, 결제 금액 등 아이템 획득 전후 30일(단기간) 간 게임 플레이 활동의 변화값을 보았을 때 전반적으로 좋은 아이템을 획득한 사건이 플레이 활동 증대에 영향을 미친다는 결과가 나왔습니다.

AI는 인공신경망의 등장부터 두 번의 AI 겨울이 지난 현재까지 많은 산업의 패러다임을 바꿔나가고 있습니다. 특히 금융시장에서는 AI의 잠재력을 높게 평가하고, 현재 시장 트렌드 분석, 미래 시장 변화 예측 등을 위한 최적의 예측 모델을 연구하고 있는데요. 이같은 모델 개발을 위해서는 먼저 ‘초매개변수(하이퍼 파라미터, hyperparameter)’를 설정해야 합니다. 많은 연구들을 통해 알 수...