DynamoDB를 사용하는 Go 서비스의 응답 시간 최적화 #1 AWS Credential Token
안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 이전 포스팅에서 Go의 HTTP 커넥션 풀에 관해 설명해 드렸습니다 (HTTP connection pool in Go explained). 이 포스팅에서는 Go 서비스에서 HTTP 요청에 대한 Trace를 남겨 DynamoDB 요청의 응답 시간에 큰 영향을 미치는 Credential Token 발급 로직을…
HTTP connection pool in Go explained
안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 버즈빌에서는 Go 마이크로 서비스에서 Elasticsearch와 DynamoDB 등의 AWS SDK를 사용하거나, 내부 서비스가 아닌 애드 네트워크나 앱 퍼블리셔 등의 HTTP로 통신해야 하는 외부 서비스를 연동하는 경우 HTTP 요청을 사용하고 있습니다. 저는 DynamoDB의 응답시간을 낮추기 위해 최…
MongoDB Atlas VPC Peering with AWS
주니어 엔지니어의 눈으로 본 AWS re:Invent
안녕하세요, Data Platform팀 Data Engineer 이은지입니다. 코로나로 인해 2020년에 온라인으로 진행된 AWS re:Invent가, 2021년에는 오프라인 행사로 열렸습니다! 2021년 11월 29일부터 12월 05일까지 일주일간 미국 라스베가스에서 진행됐는데요…
데브옵스 플랫폼이 선택한 프로비저닝 도구
테라폼 은 메이저 클라우드 프로바이더를 대부분 지원합니다. 화해는 AWS를 주력으로 사용하지만 GCP도 사용하고 앞으로 다양한 환경으로 확장될 가능성이 높습니다. AWS Cloudformation이나 CDK 등도 고려으나 특정 클라우드 환경에 종속된다는 한계가 있었습니
Google Cloud SQL 접속하기
AWS DynamoDB 모델링
DynamoDB를 소개하며 RDBMS ERD기반 설계에서 DynamoDB로 Reverse Modeling하는 방법을 공유합니다. 1. DynamoDB 도입 배경 현재 스타트줌(https://start.zum.com/)에서 개인 별 배경화면 / 레이아웃 / 위치설정 / 사이트 바로가기를 설정할 수 있습니다. 해당 데이터들은 브라우저 로컬 스토리지에 저장되어서 페이지가 렌더링 될 때 로컬 스토리지의 데이터를 읽어서 렌더링하고 있습니다. 그렇기 때문
VPC Network — Firewall
AWS Site-to-Site VPN 구성하기 (feat. Openswan) (3) - VPN 연결
Let’s Encrypt Wildcard SSL Certification with GKE+GCLB
클라우드 — 스타트업의 기회
아직도 Amazon GuardDuty 도입을 안 하셨다면?
안녕하세요. API 개발팀장 최진욱입니다. 어반베이스에서는 Serverless 기반 RESTful API Architecture 설계 및 개발을 담당하고 있습니다. 여느 스타트업처럼 저희도 기술 사이드에 방점을 두고 서비스 퀄리티를 높이는 데 집중했었는데요, 서비스가 차츰 안정화되다 보니 보안 이슈가 중요해지더라고요. AWS에서 다양한 보안 위협 탐지 서비스를 제공하고 있는데, 저희는 그중에서 모든 리전에서 지원 가능한 GuardDuty 도입을
AWS EKS에서 ALB Ingress Controller 활용기
About Us
기술의 발전으로 우리는 마음속에 그려오던 미래 사회에 한 발짝 가까워졌습니다. 모든 기술이 연결되는 클라우드, 동료가 되어주는 AI, 언택트 서비스를 위한 디지털 전환 등 카카오엔터프라이즈는 단순한 기술 개발을 넘어, 사람을 이해하는 최적의 기술을 연구하며 더 편리한 일상을 추구합니다. 카카오엔터프라이즈 기술 블로그, 테크앤(Tech &)은 기술(technology)에 우리를 둘러싼 수많은 것들을 결합(&)하여 더 나은 미래를 만들 수 있다는
크로키의 스택 - AWS Batch
서비스를 운영하다 보면 주기적으로 실행이 필요한 작업이 생깁니다. 이런 작업을 실행하는 방법은 여러 가지가 있을 수 있습니다. 다음은 크로키에서 현재 선택해서 전환 중인 AWS Batch에 관해 설명합니다.
Tableau Server 설치하기
이 글은 “Tableau로 사무실 대시보드 구축하기” 시리즈의 두 번째 글입니다. Tableau 에 대한 간단한 소개와 구축 동기 Tableau Server 설치하기 Prep Builder 로 데이터 흐름 만들기 Tableau Desktop으로 Dashboard 만들기 여러 개의 Dashboard를 자동으로 Rotation & Refresh 하기 글을 들어가기 전에 8퍼센트는 메인 인프라를 AWS에 두고 있습니다. 그리고 Tableau Serv
Sagemaker에서 PyTorch를 활용한 딥러닝 이미지 분류 모델 학습 및 배포
안녕하세요. 어반베이스 Machine Learning 개발자 백윤아입니다. 어반베이스에서는 공간 분석 서비스인 Space 개발을 담당하고 있습니다. Space는 컴퓨터 비전 영역의 딥러닝을 활용하여 공간을 분류하고, 공간에서 사물을 검출하며 공간의 특성을 분석하는 서비스를 제공합니다. 이번 글에서는 Space의 API를 만들었던 과정에 대해 이야기 해보려고 합니다. AWS 클라우드를 활용하여 간단한 딥러닝 모델 학습부터 서버리스 API 구축까지
Amazon MQ의 Virtual Topics를 활용한 (Pub-sub)메시지 로드밸런싱
서비스 간 컨텐츠 동기화를 위해 사용하던 AWS SQS를 AmazonMQ로 마이그레이션하면서, AmazonMQ(ActiveMQ)의 Topic을 이용한 Pub-Sub 방식의 메시지 브로커를 구성했습니다. 하지만 모든 Subscriber에 같은 메시지가 전달되기 때문에 메시지 중복처리 문제가 발생했는데요. 이 문제를 ActiveMQ의 Virtual Topics 를 활용하여 해결한 과정을 소개합니다. 목차 Queue 방식과 Topic 방식 개념 이해