광고 성과 데이터 StarRocks 도입기
Server Engineer 고준현 님, Data Engineer 이병우 님
devBlog
Data Engineering 글 모음
기업 기술블로그의 Data Engineering 관련 글 334개
엑셀로 하는 영업 관리, 우리 회사는 언제까지 괜찮을까요? (feat. CRM이란?)
"담당자마다 고객 정보가 담긴 엑셀 파일이 따로 있어요.", "견적 건마다 어떻게 진행되고 있는지, 담당자에게 물어봐야만 알 수 있어요.", "우리 제품에…
｢2026년도 AX 원스톱 바우처｣ 수요기업 추가 모집
안녕하세요, 누구나 쉽게 시작하는 클라우드 네이버클라우드 ncloud.com입니다. 원스톱으로 끝내자! AX 풀 패키지 AX를 고민하고 계신다면 주목해주세요! 네이버클라우드가 공급기업으로 참여하는 NIPA 지원사업의 추가 모집이 열렸습니다. AI 솔루션과 GPU를 포함한 클라우드 자원, 학습에 필요한 데이터까지. 필요한 리소스를 선택하고 조합하기만 하면 되는데요! AI 전환을 한 번에 끝내버릴 수 있는 정말 좋은 기회여서 여러분께 빠르게 소개드
스펙만 바꾸면 프롬프트가 따라옵니다 - 답변 생성 모델 자동화 파이프라인
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2026(5월)에서 발표되었던 세션을 공개합니다. 발표 내용 입력 스펙이 자주 바뀌는 쇼핑 에이전트 답변 모델 개발에서, 변경된 스펙만 입력하면 결함 탐지/프롬프트 최적화/SFT 학습 데이터 생성을 에이전트가 폐쇄 루프로 돌리는 자동화 파이프라인을 설계하며 얻은 구조와 적용 경험을 공유합니다. 발표 대상 AI 서비스를 위한 스펙기반 프롬프트 최적화를 적용하고자 하시는 기획/A
[뉴스레터] Cover Story - 4호
신용을 처음 만나는 수억 명 — 인도 소비 스토리의 진짜 주인공
LLM·하네스로 더 좋은 n8n 워크플로 생성하기
LLM에 정확한 정보와 도구를 제대로 쥐여 주면 더 높은 품질의 n8n 워크플로를 생성할 수 있습니다. 이 글은 LLM의 작업 환경 전체를 설계하는 접근 방식인 '하네스(Harness)'를 만들어 실험한 내용을 다뤘습니다. 같은 모델과 같은 요청을 두고 하네스 수준만 바꿨을 때 모델이 생성한 n8n 워크플로 품질이 어떻게 달라지는지 소개합니다.
Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지
Iceberg의 강력한 기능은 공짜가 아니다 — 6개월간의 운영에서 배운 것들
[현장 스케치] 국방 AX의 미래, 소버린 AI로 완성합니다: 네이버클라우드 국방 AX 발전 전략 세미나
지난 6월 10일(수), 2026 대한민국 국방산업발전대전(2026 InLEX Korea)에서 네이버클라우드의 국방 AI 비전과 전략을 소개하는 ‘네이버클라우드 국방 AX 발전 전략 세미나’가 개최되었습니다. 최근 AI는 산업 전반을 넘어 국방 분야의 핵심 기술로 빠르게 자리 잡고 있습니다. 특히 미래 전장에서는 방대한 데이터를 실시간으로 분석하고, 지휘관의 의사결정을 지원하는 AI의 역할이 더욱 중요해지고 있는데요. 이번 세미나에서는 이러한
AI, 고객 행동의 순서를 읽다: 카카오뱅크 시퀀스 기반 FDS 모델 개발기
카카오뱅크는 날로 지능화되는 보이스피싱에 대응하기 위해 기존의 단일 거래(point) 기반 탐지 방식에서 벗어나, 고객의 연속된 행동을 분석하는 시퀀스 기반 탐지 모델을 개발했습니다. 이미지 분류에 사용되던 Vision Transformer(ViT) 아키텍처를 금융 시계열 데이터에 맞게 변형하여 고객의 앱 활동 및 거래 내역 시퀀스를 학습하고, 실시간 서빙 환경을 구축했습니다. 그 결과, 하루 평균 1,800만 건 이상의 추론 요청을 평균 20
GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 2: 하이브리드 검색과 자연어 쿼리 변환
1. Part 1 요약 Part 1: 데이터 파이프라인과 인덱싱에서는 검색 정확도의 기반이 되는 데이터 파이프라인을 다루었습니다. 글로지(GloZ Inc.)는 약 10만 명의 번역가 이력서를 검색 가능한 형태로 구조화하기 위해, 문서 유형별 파싱 → LLM 기반 메타데이터 추출 → 동의어·표기 변형 정규화 → 환각 검증 → 임베딩 입력 전략 최적화로 이어지는 데이터 정제 파이프라인을 구축했습니다. Amazon OpenSearch […]
AI 시대의 필수 소비재, 메모리 이해하기 4편: CXL 이해하기
CXL(Compute Express Link)의 등장 배경, CXL.io/.cache/.mem 세 가지 sub-protocol, Type 1/2/3 디바이스 분류, 1.1부터 3.x까지의 표준 진화, 그리고 삼성·SK하이닉스·마이크론의 CXL 메모리 제품군을 기술적으로 분석합니다.
ODW #8: Slack MCP로 사고 대응과 FAQ 생성 작업 속도를 높이는 실습형 사내 워크숍 후기
안녕하세요. LY Corporation의 Sakokawa입니다. 사내 시스템의 데이터 플랫폼 개발을 담당하고 있고, Orchestration Development Workshop의...
AI 시대의 필수 소비재, 메모리 이해하기 3편: HBF가 풀어야 할 과제
HBF에게 적합한 자리는 분명히 있습니다. 하지만 memory hierarchy 피라미드에 들어가기 위해서는 아직 부족한 점이 많습니다. 최신 LLM 모델 및 추론 워크로드 트렌드, 그리고 Flash memory의 LLM 사용 방식을 살펴보며 HBF의 남은 과제와 극복 방안에 대해 살펴봅니다.
LLM은 언제 ＂모른다＂고 말해야 하는가
정확하게 답하는 능력만큼 중요한, 답하지 않을 줄 아는 능력 이 글은 사내 본부 세미나에서 다룬 두 편의 논문 — AbstentionBench(Kirichenko et al., FAIR at Meta, arXiv:2...
Apache Airflow 3.x Dag Parsing 최적화 체크리스트
Dag 파싱을 최적화 한다는 것? 저만 그런진 모르겠지만 저는 처음에 Dag 가 파싱되는 것을 최적화 한다는 것이 어떤 것인지 이해가 어려웠습니다. 그래서 거기서 부터 설명을 하면 좋을 것 같아서 끄적여보았습니다. ...
2026년 5월 인도 핀테크 뉴스
5월 인도 핀테크 관련 정부 규제, 경쟁사 및 업계 동향을 공유합니다.
현대오토에버의 Amazon Bedrock으로 구축한 빅데이터 클러스터 장애 대응 자동화 에이전트 구축기
이 글은 현대오토에버의 GenAI Sandbox 활용 생산성 향상 해커톤 시리즈의 세번째 글이며, 현대오토에버의 오명우, 정세종님과 함께 작성하였습니다. 첫 번째 글에서는 현대오토에버와 AWS가 GenAI Sandbox를 활용해 어떻게 생산성 향상 해커톤을 기획하고 운영했는지, 그리고 14개 팀 150여 명이 참여한 이 행사의 전반적인 성과를 소개 했습니다. 두 번째 글에서는 Amazon Bedrock과 LangGraph를 활용해 어떻게 다중
GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 1: 데이터 파이프라인과 인덱싱
1. 회사 및 서비스 소개 글로지(GloZ Inc.) 글로지(GloZ Inc.)는 OTT, 게임, 웹툰·웹소설, 더빙 등 콘텐츠 로컬라이제이션을 전문으로 하는 기업으로, 70개 이상의 언어와 190여 개국에 콘텐츠를 전달하고 있습니다. 서울, 캘리포니아, 싱가포르, 도쿄 4개 거점과 전 세계 210여 개 도시에 분포한 언어 전문가 네트워크를 기반으로, 글로벌 OTT 파트너 품질 평가에서 4년 연속 1위를 기록해 왔습니다. 글로지는 번역 […]