DynamoDB를 사용하는 Go 서비스의 응답 시간 최적화 #1 AWS Credential Token
안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 이전 포스팅에서 Go의 HTTP 커넥션 풀에 관해 설명해 드렸습니다 (HTTP connection pool in Go explained). 이 포스팅에서는 Go 서비스에서 HTTP 요청에 대한 Trace를 남겨 DynamoDB 요청의 응답 시간에 큰 영향을 미치는 Credential Token 발급 로직을…
HTTP connection pool in Go explained
안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 버즈빌에서는 Go 마이크로 서비스에서 Elasticsearch와 DynamoDB 등의 AWS SDK를 사용하거나, 내부 서비스가 아닌 애드 네트워크나 앱 퍼블리셔 등의 HTTP로 통신해야 하는 외부 서비스를 연동하는 경우 HTTP 요청을 사용하고 있습니다. 저는 DynamoDB의 응답시간을 낮추기 위해 최…
MongoDB 4.4에서 5.0으로 업그레이드 하기
FrontEnd 성능 측정 도구 및 구성 방안
React 18 에서 추가된 기능
주문형 반도체 (ASIC) Floorplan 자동화 - Part II
Related to 강화학습, 산업의 난제에 도전하다! - ASIC 반도체 설계 (Floorplan) 자동화 (Naver Deview 21 발표 영상) 주문형 반도체 (ASIC) Floorplan 자동화 - Part I 프로젝트 소개 FIGURE ABSTRACT 위 애니메이션은 약 1500 iterations 정도의 학습 과정을 보여주고 있습니다. 녹색의 큰 사각형은 Macro, 청색의 작은 사각형은 Standard Cell Cluster를 나
[기술 블로그] 로플랫의 대용량 데이터 처리
화해 개발팀이 백로그를 다루는 방법
엔지니어링 백로그 매일 오전 15분 동안 하루 단위로 쌓이는 백로그를 모아 분류하고 리뷰하는 과정을 통해 개발팀 내 각 플랫폼으로 제품과 관련된 문제 해결 요청이 전달되고, 다시 플랫폼별 백로그 미팅을 통해 담당자를 지정하여 실행합니다.
ETL 성능 향상을 위한 몇 가지 팁들
0. 시작하며 개발자라면 누구나 성능 향상에 대한 고민을 해 본 적이 있을 것입니다. 다른 분야도 마찬가지겠지만, ETL에 있어서도 성능을 향상시키는 것은 굉장히 중요한 부분입니다. 성능이 저하됨에 따라서 원하는 시간 내에 ETL 작업이 완료되지 못할 수도 있고, 특정 작업이 자원을 많이 차지함에 따라서 다른 작업의 수행 속도에 안 좋은 영향을 끼칠 수도 있으니 말이에요. 이번 게시글에서는 Hive측면과 RDBMS 측면에서 쿼리 수정을 통해 성
딥러닝 ‘생성모델’과 ‘잠재 벡터’에 관하여
안녕하세요, AI PLUS Tech Blog입니다. 오늘은 AI 아나운서 제작에 사용된 기술 중 딥러닝 생성모델 관련한 내용을 소개하려 합니다. 과거 산업 현장에서 딥러닝이 주로 성과를 내는 부분은 인식(recognize) 분야였습니다. 딥러닝이 산업계에 쓰이기 시작한 초창기에는 구글 번역 등 아주 일부 영역만 딥러닝 생성(generation)모델이 채택되었는데요, 최근 딥러닝 모델의 음성 합성(speech synthesis) 및 영상...
Django ORM defer 기능
시작하기 전에 안녕하세요 똑똑한 개발자에서 백엔드 개발을 하고 있는 jujun입니다. django orm 은 디폴트로 해당 모델의 모든 컬럼을 불러옵니다. only 기능을 사용한다면 필요한 항목만 불러올 수 있게 됩니다. 이번 포스트에서는 only()와 반대(?)인 defer()기능은 명시된 컬럼을 빼고 모든 컬럼을 가져옵니다. 이는 불필요한 데이터를 불러오지 않게하여 컴퓨터 자원을 보다 효율적으로 사용할수 있습니다. 하지만 잘못 사용하면 la
mojitok’s top selling international packs on the Galaxy store!
Django ORM only 기능
시작하기 전에 안녕하세요 똑똑한 개발자에서 백엔드 개발을 하고 있는 jujun입니다. django orm 은 디폴트로 해당 모델의 모든 컬럼을 불러옵니다. 하지만 only 기능을 사용한다면 필요한 항목만 불러올 수 있게 됩니다. 이는 불필요한 데이터를 불러오지 않게하여 컴퓨터 자원을 보다 효율적으로 사용할수 있습니다. 하지만 잘못 사용하면 lazy lading 에 의해 불필요한 쿼리를 발생시킵니다. 자세히 알아보겠습니다. . 본론 예제코드 아래
[TokTokHan.dev]Execution Context(실행 컨텍스트)
안녕하세요, 똑똑한개발자에서 프론트엔드 개발을 하고 있습니다.👋 똑똑한개발자 똑똑한개발자 프론드엔드 팀은 매주 월요일 오후에 javascript 기초에 대한 스터디를 진행하고 있습니다. 자바스크립트의 핵심적인 기본개념과 동작원리에 대해 스터디 구성원 한 사람이 파트 1개씩을 맡아 간단하게 발표하고 그에 대한 의견들을 공유하고 나누는 형태로 진행합니다. 첫 시간에는 자바스크립트의 ‘데이터’와 ‘불변성’에 대해 간략하게 알아보는 시간을 가졌고 이
Linger 로 오버헤드 줄이기
Linger Kafka 에 보면 linger 라는 개념이 나옵니다. 프로듀서가 메세지를 전송할 때, 전송을 위한 통신 오버헤드를 줄이기 위해 메세지를 어느 정도 모아서 보내는 방식입니다. 네트워크 비용은 대체적으로 큰 비용에 속하기 때문에 이를 줄이기 위한 방법입니다. 이 컨셉은 kafka 의 여러 곳에서 등장합니다. 기능만큼이나 성능 측면에서 비용을 낮추기 위해 여러 방안을 사용한 듯 싶습니다. 네트워크 비용만큼이나 비싼 비용은 바로 DB 비용입니다. 특히 RDB 에서는 원하는 목표를 위한 큰 비용을 마주하곤 합니다. 도메인의 특이한 제약은 종종 겪곤 하는데 저도 이번 경우에 몇몇 제약적인 상황 하에 RDB 의 비용을 효율적으로 다뤄보기 위해 linger 전략을 도입한 사례를 소개합니다. Linger ..
유저들이 정말로 원하는 컨텐츠는 무엇일까? — 우리의 추천시스템의 시작 (2)
당신의 홈페이지에서 채팅버튼을 제거하세요.
딥러닝으로 리뷰에서 제품 속성 정보 추출하기
딥러닝 만약 리뷰에 쓰인 제품 속성을 추출하고 주요한 속성정보만 사용자에게 제공하면 더 좋은 고객 경험을 만들 수 있지 않을까? 추출한 제품 속성을 정량화한다면 기존에는 알기 힘들었던 제품의 특징으로 볼 수 있지 않을까?