Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 커넥터를 이용해 DB 데이터를 쉽게 Kafka로 전송하는 방법과 발생 가능한 문제를 해결하는 방법을 공유합니다.
devBlog
Backend 글 모음
기업 기술블로그의 Backend 관련 글 1516개
실무에서 적용하는 테스트 코드 작성 방법과 노하우 Part 3: Given 지옥에서 벗어나기 - 스노우볼을 굴려라
테스트 코드 Given 절 작성의 어려움을 해결하고 재사용성을 극대화하는 전략을 소개합니다.
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
단일 진실 공급원 (SSoT) 의 중요성
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
1. 들어가며 안녕하세요. 쏘카 데이터엔지니어링팀 삐약, 루디입니다. 내용을 시작하기에 앞서, 저희 팀의 업무와 역할에 대해 간략히 소개해 드리겠습니다. 데이터엔지니어링팀은 신뢰할 수 있는 데이터를 쏘카 구성원들이 안정적으로 활용할 수 있도록 기반을 마련하고, 이를 실제 비즈니스에 적용할 수 있는 서비스를 개발하며 환경을 구축하고 있습니다. 데이터 마트 관리, 데이터 인프라 구축, 그리고 데이터 제품(Data as a Product) 개발 등
에러? 1초 만에 잡아드립니다 - AOP와 Redis로 구축한 실시간 알림 시스템
Exposed에서 도망 간 Escape를 찾습니다 (feat. MySQL)
어느 날, 모니터링 시스템에서 ‘SQLSyntaxErrorException’이 발생했다는 알림을 받았습니다. Exposed와 MySQL로 구성된 서비스에서 이스케이프(Escape) 문자열 처리와 관련된 문제가 발생한 것인데요. 4단계에 걸친 디버깅 과정을 거쳐 오류 로그를 분석한 끝에 Exposed가 문제의 원인이었음을 밝혀냈습니다. 에러 메시지를 발견했을 때 임시방편 해결책이 아닌, 근본적인 원인을 탐색하는 방법을 이 글을 통해 한 번 확인해
AWS re:Invent 2024 Recap: AI 1편
1편에서는 AWS re:Invent 2024에서 다룬 AWS 기반의 금융 회사의 생성형 AI 서비스 구축 사례를 소개합니다.
Flink SQL 도입기
안녕하세요. Azar Matching Dev Team 의 Zeze 입니다. Flink 는 대다수의 백엔드 엔지니어들에게 친숙한 기술은 아니지만, 이벤트 스트리밍 처리를 위한 대표적인 기술 중 하나입니다. 대규모 실시간 데이터 스트리밍 처리를 위해 분산 환경에서 빠르고 유연하게 동작하는 오픈소스 데이터 처리 엔진이며, 팀 내에서는 Azar 의 핵심 로직인 매칭 서버를 구현하는 데에 사용되고 있고, 사내에서는 보통 Kafka 를 source 및 s
Ktor로 팀 환경에 맞는 API 서버 구현하기
Ktor 환경을 팀에 도입해 보고 싶어 직접 구현한 과정을 공유합니다.
올리브영 글로벌몰 주소 자동완성 및 검증 솔루션 도입기
안녕하세요, 올리브영 글로벌몰 PO ZㅣZㅣ입니다. 🙋🏻♀️ 올리브영 글로벌몰을 잠깐만 소개할게요. "안녕하세요, 올리브영입니다. 필요하신 물건 있으면 말씀해주세요" 이는 한국에 있는 1,35…
Data Product (3) 데이터로 실제 운영 효율화가 가능할까?
날씨 세차 도입기
피처 플래그 개발기: 실시간 데이터 동기화를 향한 여정
원활한 배포 및 장애 대응을 위한 피처 플래그를 개발하며 실시간 데이터 동기화를 위해 직면한 문제를 해결하기 위한 여정을 공유합니다.
라이브 게임 에셋 관리 개선기 - 번외1.리소스 최적화 기법
이번 글은 이전 글에서 이야기한 최적화 기법의 세부 내용을 다루는 글입니다. 이 글을 읽기 전에 이전 글을 읽어보는 걸 추천합니다. 라이브 게임 에셋 관리 개선기 - 2.메모리 사용 절감 1부. 어드레서블 에셋 도입 2부. 메모리 사용 구조 개선 / 리소스 최적화 <- 현재 글 번외1. 리소스 최적화 기법 3부. DLC를 통한 패치 시스템 인트로 이전 글에서 게임의 용량과 메모리에 대한 내용에 대해 이야기 하고 게임 리소스를 최적화하여 앱스토어
Ideavim !:과 셸 스크립트 조합으로 초간단 플러그인 만들기
Vim 계열에서 공통으로 지원하는 기능인 Filter command !:를 IdeaIdeavim에서도 사용할 수 있습니다. 이 글에서는 :!를 통해 미리 만들어 둔 셸 스크립트를 IntelliJ에서 호출해 사용하는 방법을 소개합니다.
Selenium과 OCR의 혁신적 결합: Docker와 클라우드로 확장한 대규모 디지털 사이니지 마이그레이션 자동화 솔루션
웹 자동화 도구인 Selenium과 이미지 텍스트 인식 기술 OCR을 결합하여 스마트 디스플레이 시스템을 효율적으로 제어하는 혁신적인 프로젝트를 소개합니다. 이 기술 조합을 통해 자동으로 화면을 인식하고 조작하게 된 과정을 설명하며, Docker와 클라우드 서비스를 활용해 대규모 시스템 마이그레이션을 자동화한 방법을 살펴봅니다.
Spring Transactional Rollback Deep Dive
안녕하세요. Azar API Dev Team의 Ledger입니다. 이번 글에서는 Spring Transactional 동작에서 Checked Exception과 Unchecked Exception의 롤백(rollback) 처리에 관한 내용을 다뤄보겠습니다. 여러 사례를 통해 예외 처리 코드를 작성해 보고, 자주 혼동되는 부분들을 정리해 보았습니다. 그래서 언제 롤백 되는 건데!! 트랜잭션 범위 내에서 예외가 발생하면 롤백 되는건 익히 알고 있지
정적 그만!✋ 은행에 서비스 디스커버리 도입하기
카카오뱅크는 온프레미스 환경에서 운영 작업의 자동화를 추진해오며, 멀티데이터센터 환경에서 안정적인 서비스 확장을 위한 ‘서비스 디스커버리 시스템’을 구축했는데요. 이를 통해 서비스 간 의존성과 트래픽 증가 문제를 어떻게 현명하게 해결했는지 소개드리고자 합니다. 카카오뱅크의 인프라 운영과 확장 전략에 관심 있는 분들께 강력히 추천드립니다!
Spring 기반 멀티모듈 프로젝트 환경변수 설정 방법
Spring 기반 멀티모듈 프로젝트에서 환경변수 설정은 어떻게 하는 것이 좋을까요? 여러 가지 방법 중 프로젝트 구성에 도움이 될 만한 방법들을 모아봤습니다.