약 18억 명의 사용자를 기반으로 운영되는 글로벌 계정 서비스인 삼성 계정에서는 24/7 대규모 트래픽을 안정적으로 처리하고 있으며, 삼성 계정에 관련된 모든 작업은 무중단으로 진행하고 있습니다. 이러한 제약사항 속에서 사용자 Database 내 개인식별정보들을 Kafka 를 이용해 서비스 영향 없이 스키마 전환 및 데이터의 컬럼 단위 암호화를 진행했던 경험에 대해 공유하고자 합니다.

BackendDatabaseDevOpsSecurity

전체 읽기 →

하이퍼커넥트

2025-05-15 · 약 1년 전

Building Resilient, High Performance ScyllaDB Clusters with Super Disk

안녕하세요, SRE - Database Platform Unit(DBP)의 stewart입니다. Hyperconnect는 전사 NoSQL 데이터베이스로 ScyllaDB를 약 4년 동안 운영하며, ML feature store[2] 등 전사의 매우 다양한 서비스의 고성능 요구사항을 충족해왔습니다. 하지만 최근 장애 모의 훈련에서 cluster rolling update 시 node 복구 시간이 지나치게 길다는 문제를 발견했습니다. 본 글에서는 이

DatabaseDevOpsInfra

전체 읽기 →

카카오페이

2025-05-13 · 약 1년 전

우리의 애플리케이션에서 PreparedStatement는 어떻게 동작하고 있는가

JDBC를 직접 핸들링하지 않고, 다양한 추상화 계층 위에서 동작하는 우리의 애플리케이션에서 PreparedStatement는 어떻게 동작하는지 탐구한 결과를 공유합니다.

BackendDatabaseTools

전체 읽기 →

카카오페이

2025-05-13 · 약 1년 전

실시간 OLAP을 위한 Apache Pinot 운영 노하우

실시간 데이터 분석(OLAP)을 위해 Apache Pinot 오픈소스를 도입하여 운영한 경험을 공유합니다.

DatabaseInfraTools

전체 읽기 →

카카오페이

2025-04-11 · 약 1년 전

OpenSearch Analyzer를 활용한 검색기능 알아보기

OpenSearch Analyzer를 활용한 검색 서비스를 간단한 예제와 함께 알아봅니다.

BackendDatabaseTools

전체 읽기 →

삼성 기술 블로그

2025-03-25 · 1년 이상 전

DIS : AI와 함께하는 빅데이터 검색 혁신과, 데이터 스케일 이슈 해소

혹시 데이터 사일로라는 말을 들어보셨나요? 데이터 사일로란, 서로 다른 시스템에서 생성한 데이터가 특정 부서나 업무에서만 사용되고, 다른 분야에서는 제대로 활용되지 못하는 상황을 말합니다. 이런 문제가 지속되면, 사내 데이터가 통합적으로 활용되지 못해 효율적인 의사결정이 어려워지게 됩니다. 따라서, 데이터 사일로 해소를 위해 전사 데이터 카탈로그를 구축하는 과정에서 겪었던 기술적인 어려움과 해결 방법을 소개하고자 합니다.

AI/MLBackendDatabase

전체 읽기 →

NHN Toast

2025-03-04 · 1년 이상 전

Trino로 타임아웃 개선하기

![NHN Cloud_meetup banner_trino_202502-01_900.png](https://image.toast.com/aaaadh/real/2025/techblog/NHN%20Cloudmeetup%20bannertrino20250201900.png) # 들어가며 안녕하세요. NHN Cloud의 클라우드AI팀 이태형입니다. 로그 데이터가 쌓일수록 조회 속도가 느려지는 문제, 한 번쯤 겪어 보셨을 텐데요. 이 글에서는 이러한 문제를

BackendDatabaseInfra

전체 읽기 →

마켓컬리

2025-03-03 · 1년 이상 전

Kafka Connect로 DB 데이터 쉽게 연동하기

Kafka Connect와 JDBC 커넥터를 이용해 DB 데이터를 쉽게 Kafka로 전송하는 방법과 발생 가능한 문제를 해결하는 방법을 공유합니다.

BackendDatabaseTools

전체 읽기 →

쏘카

2025-02-25 · 1년 이상 전

로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용

1. 들어가며 안녕하세요. 쏘카 데이터엔지니어링팀 삐약, 루디입니다. 내용을 시작하기에 앞서, 저희 팀의 업무와 역할에 대해 간략히 소개해 드리겠습니다. 데이터엔지니어링팀은 신뢰할 수 있는 데이터를 쏘카 구성원들이 안정적으로 활용할 수 있도록 기반을 마련하고, 이를 실제 비즈니스에 적용할 수 있는 서비스를 개발하며 환경을 구축하고 있습니다. 데이터 마트 관리, 데이터 인프라 구축, 그리고 데이터 제품(Data as a Product) 개발 등

BackendDatabaseInfraTools

전체 읽기 →

페이지 5 / 10 (총 192개)

devBlog