Airflow로 펀드 배치 시스템 완벽 구축하기
2024년 1월, 카카오뱅크는 K8s, Managed Database, 분산스토리지, API Gateway 등 클라우드 네이티브 기술을 도입한 혁신적인 펀드 시스템을 퍼블릭 클라우드에 구축하여 성공적으로 오픈했습니다. 그 중 Airflow 오픈소스를 활용하여 만든 배치 시스템을 조명해볼까 합니다. 금융 규제를 충족하면서도 효율적으로 수많은 펀드 배치 작업을 어떻게 수행하는지 그 구축 과정을 함께 들여다보시죠!
안전한 '프로필 등록' 기능 개발기 - 28편 - AWS Rekognition을 활용한 프로필 이미지 검증
개요 티맵에서는 본인 차량 원부를 조회해서 차량 프로필을 관리하는 기능을 제공하고 있는데요. 이번에 10.9 버전 개편을 하면서 사용자의 프로필 이미지를 관리할 수 있는 기능도 제공하게 되었습니다. 프로필 이미지는 사용자가 원하는 이미지를 직접 등록할 수 있으며, 원부 조회를 통해 차량 프로필을 등록한 경우에는 카바타를 선택해서 등록할 수도 있습니다. 사용
AWS Bedrock과 Claude 3.5 Sonnet을 활용한 자동 상품 이미지 검수 시스템 구축기
안녕하세요! 올리브영 카탈로그 서비스개발팀에서 AI와 씨름 중인 루시🐰입니다. "이미지 검수에 AI…
은행에서 AI를 private하게 사용하는 방법 (feat. Azure)
카카오뱅크의 보안기술아키텍처팀에서 일하는 Levi입니다. 이번 글에서는 AI 도입에 대한 카카오뱅크의 고민과 해결 방안을 다루었습니다. 특히 Azure를 활용한 AI 아키텍처 구성, 보안 절차, 네트워크 아키텍처에 대해 자세히 설명드립니다. 금융업에서의 AI 도입에 관심이 있는 분들에게 유익한 정보가 될 것입니다.
Snowflake Connector(Python)용 AWS Lambda Custom Layer
서버리스에서 쿠버네티스로 - Airflow 운영 경험기
서버리스 Airflow를 쿠버네티스 환경으로 전환하며 경험한 삽질들
Karpenter 파일럿
지난 포스팅과(사이트 신뢰성에 대한 지표는 어떻게 구성할까?) 다르게 이번엔, AWS EKS 환경을 좀 더 안정적이며 확장성 있게 운영하기 위해 고민하고 테스트 했던 내용에 대해 공유 드리고자 합니다. 사람인은 K8S 플랫폼으로 On-Premise가 주이고 최근 서비스는 AWS EKS를 사용하고 있습니다. 초기 EKS를 구축 했을 때 CA를 사용하지 않고 Auto Scaling Group을 이용하여 명시적으로 관리 했었습니다. 하지만 거기서 오
Google Cloud Next '24 방문기
안녕하세요, 저는 올리브영의 데이터 플랫폼 인프라를 담당하는 슈로쿤입니다. 현재 저희 회사는 데이터 플랫폼 인프라의 안정적이고, 유연한 확장 그리고 보다 더 빠른 데이터 분석을 위해 Google Cloud…
올리브영 QA의 AWS Lambda를 통한 On call 도입기
안녕하세요. 올리브영 QA Enginner 멜짱입니다. 올리브영은 인시던트를 어떻게 관리하고 있는가?…
Aurora/RDS 전문가의 GCP Cloud SQL이전기
테라폼의 풍미를 더해주는 서버 설정 자동화 한 스푼 🥣
안녕하세요, 카카오뱅크 신뢰성엔지니어링팀의 Locke입니다. 이번 글에서는 테라폼(Terraform)을 활용하여 온프레미스 환경에서 서버 생성, 자동화 프로세스, 모니터링 등을 자동으로 관리하는 방법에 대해 소개합니다. 테라폼을 사용한 자원 관리 자동화 아이디어와 이를 통해 얻은 경험을 단계별로 설명드리며, AWX와 Prometheus와의 연동 과정도 함께 다룹니다. 클라우드와 온프레미스 환경에서의 인프라 관리에 대한 흥미로운 이야기를 기대해
Terraform과 AWS Well-Architected Framework를 이용한 마이그레이션과 현대화
AWS 비용 최적화 Part 1: 버즈빌은 어떻게 월 1억 이상의 AWS 비용을 절약할 수 있었을까
버즈빌은 2023년 한 해 동안 월간 약 1.2억, 연 기준으로 14억에 달하는 AWS 비용을 절약하였습니다. 그 경험과 팁을 여러 차례에 걸쳐 공유합니다. - AWS 비용 최적화 Part 1: 버즈빌은 어떻게 월 1억 이상의 AWS 비용을 절약할 수 있었을까 - (준비중) AWS 비용 최적화 Part 2: 쉬우면서도 효과가 큰 비용 최적화 팁 - (준비중…
Snowflake Arctic의 기술적 진보
AWS OpenSearch 기반 EFK Stack 구축기
안녕하세요. 인벤토리 스쿼드 백엔드 개발자 펭귄대장입니다! 인벤토리 스쿼드에서 재고 변경 이력을 관리하기 위해 OpenSearch + EFK 를 구축하게 되어 소개 드립니다. 이전 포스팅에서 자주 언급되었듯이, 올리브영은 Datadog…
홈페이지 제작 문의
" 고객의 미래를 함께하는 씨앤텍시스템즈 " 안녕하세요 씨앤텍시스템즈 기술연구소입니다. 회사소개 2005년에 설립된 DW, ETL, BA, BIG DATA, 솔루션 구축 컨설팅 전문기업 씨앤텍시스템즈의 소개합니다. 기술연구소는 전문화된 인력과 기술력을 바탕으로 차세대 기술 개발, R&D 사업 등 새로운 IT 기술에 도전하고 지속적인 연구 개발을 통하여 주도적인 기업으로 이끌어 나가고 있습니다. 최근 자사 ETL 솔루션 개발 및 디지털 헬스케어,
Building a Web Application Using AWS Amplify and AWS Services
이미지 최적화 여정(1): AWS Serverless Image Handler