Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 커넥터를 이용해 DB 데이터를 쉽게 Kafka로 전송하는 방법과 발생 가능한 문제를 해결하는 방법을 공유합니다.
devBlog
Database 글 모음
기업 기술블로그의 Database 관련 글 315개
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
1. 들어가며 안녕하세요. 쏘카 데이터엔지니어링팀 삐약, 루디입니다. 내용을 시작하기에 앞서, 저희 팀의 업무와 역할에 대해 간략히 소개해 드리겠습니다. 데이터엔지니어링팀은 신뢰할 수 있는 데이터를 쏘카 구성원들이 안정적으로 활용할 수 있도록 기반을 마련하고, 이를 실제 비즈니스에 적용할 수 있는 서비스를 개발하며 환경을 구축하고 있습니다. 데이터 마트 관리, 데이터 인프라 구축, 그리고 데이터 제품(Data as a Product) 개발 등
SmartThings, OpenSearch 도입으로 성능과 비용 절감
이 글에서는 SmartThings 기록 시스템의 DB 교체 여정에 대해 소개합니다. 기존 HBase는 다양한 서비스의 요구를 충족하지 못해 SPOF 및 확장성 부족 등의 문제가 있었습니다. 이를 해결하기 위해 다양한 DB 솔루션을 검토한 후 OpenSearch를 도입해 기록 시스템의 안정성과 성능을 개선했습니다. SmartThings는 앞으로도 각 마이크로서비스의 요구에 맞는 최적의 DB 솔루션을 도입할 계획입니다.
Exposed에서 도망 간 Escape를 찾습니다 (feat. MySQL)
어느 날, 모니터링 시스템에서 ‘SQLSyntaxErrorException’이 발생했다는 알림을 받았습니다. Exposed와 MySQL로 구성된 서비스에서 이스케이프(Escape) 문자열 처리와 관련된 문제가 발생한 것인데요. 4단계에 걸친 디버깅 과정을 거쳐 오류 로그를 분석한 끝에 Exposed가 문제의 원인이었음을 밝혀냈습니다. 에러 메시지를 발견했을 때 임시방편 해결책이 아닌, 근본적인 원인을 탐색하는 방법을 이 글을 통해 한 번 확인해
AWS re:Invent 2024 Recap: Database, Storage
AWS re:Invent 2024에서 새롭게 공개한 Amazon Aurora DSQL과 Amazon S3 Tables를 소개합니다.
Spring Transactional Rollback Deep Dive
안녕하세요. Azar API Dev Team의 Ledger입니다. 이번 글에서는 Spring Transactional 동작에서 Checked Exception과 Unchecked Exception의 롤백(rollback) 처리에 관한 내용을 다뤄보겠습니다. 여러 사례를 통해 예외 처리 코드를 작성해 보고, 자주 혼동되는 부분들을 정리해 보았습니다. 그래서 언제 롤백 되는 건데!! 트랜잭션 범위 내에서 예외가 발생하면 롤백 되는건 익히 알고 있지
Monstache로 DocumentDB와 OpenSearch 동기화하기
…
JPA Transactional 잘 알고 쓰고 계신가요?
JPA Transactional과 그에 따른 DB 쿼리 성능과의 관계에 대해서 설명합니다.
주소정제 서비스 내재화 - 4화 ( 슬픈예감 )
단독건물 주소정제 정복 (feat.전라북도와 부천시의 습격)
주소정제 서비스 내재화 - 3화 ( 노가다의 달달한 열매 )
전국 약 1080만개의 건물DB 완성
주소정제 서비스 내재화 - 5화 ( 어질어질한 변화구들 )
복합건물 (아파트, 다세대 주택) 주소정제 정복
주소정제 서비스 내재화 - 3화 ( 노가다의 달달한 열매 )
전국 약 1080만개의 건물DB 완성
주소정제 서비스 내재화 - 5화 ( 어질어질한 변화구들 )
복합건물 (아파트, 다세대 주택) 주소정제 정복
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
안녕하세요! 24년 9월에 쏘카 데이터엔지니어링팀에 입사한 베넷입니다. 이번 글에서는 제가 쏘카 데이터 엔지니어링팀에 합류하게 된 계기부터, 입사 후 적응 과정, 그리고 프로젝트를 통해 느낀 점들을 공유하려고 합니다. 제가 몸담은 팀의 매력과 기술적 강점을 소개해 드리겠습니다. 다음과 같은 내용에 관심이 있으신 분들이라면 이 글이 유용한 참고가 되기를 바랍니다. 데이터 엔지니어링팀의 업무와 기술 스택에 관심이 있는 분 쏘카 데이터 엔지니어링팀의
RDS MySQL에서 RDS Aurora로 DB이전 다운타임 최소화 하기
99%가 모른다는 DB Connection 누수 문제
DB Connection과 Garbage Collector의 관계를 중심으로 mysql-connector-j 사용 시 발생할 수 있는 메모리 누수를 탐지하고 해결한 경험을 공유합니다.
99%가 모른다는 DB Connection 누수 문제
DB Connection과 Garbage Collector의 관계를 중심으로 mysql-connector-j 사용 시 발생할 수 있는 메모리 누수를 탐지하고 해결한 경험을 공유합니다.
MySqlPagingQueryProvider 살펴보기
JdbcPagingItemReader와 MySqlPagingQueryProvider를 사용할 때 주의사항