더 나은 생성모델을 위해 RLHF로 피드백 학습시키기
Human feedback을 학습할 수 있는 RLHF 방법론에 대해서 소개하고 루다에 적용한 사례한 경험을 공유합니다.
devBlog
스캐터랩 기술 블로그
총 53개 글 · 원본 블로그 방문 →
AI 챗봇을 만드는 스캐터랩 핑퐁팀의 기술 블로그
사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기
3개월만에 원하는 AI 캐릭터를 만들 수 있는 스캐터랩만의 방법론
ACL 2023 Review
핑퐁팀과 함께하는 ACL 2023 Review
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법
LLM 서빙을 위한 다양한 최적화 기법과 그 효과를 검증하기 위한 부하 테스트 방법론
읽씹할 결심 - 생성 모델에게 답변 시간 가르치기
루다, 다온에게 지연 답변 기능을 구현한 과정을 설명합니다.
Deduplication - 학습 데이터에서 중복 제거하기
Luda Gen 1.5 모델을 학습할 때 데이터셋에서 중복을 제거한 방법에 대해 이야기합니다.
Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기
생성 모델 Luda Gen 1을 어떻게 챗봇 모델로 학습했는지를 구체적으로 다룹니다.
샘 알트만과 따로 만나 1시간 동안 나눈 이야기
Private Session으로 진행된 Round Table Talks with OpenAI in Seoul 주요 내용을 공유합니다.
Karpenter와 Spot으로 저렴하고 유연하게 노드 프로비저닝하기
Spot을 이용한 서버 비용 절감기
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙
A/B 테스트까지 가능한 안정적인 모델 서빙 인프라 구조 설계 방법
EMNLP 2022 Review
핑퐁팀과 함께하는 EMNLP 2022 Review
2022 개인정보 가명·익명처리 기술 경진대회 참여 후기
'성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계
'모델 추론 구조 자체'를 A/B 테스트하는 방법
이루다 서버의 모니터링 스택을 소개합니다
Spring Boot 서버 모니터링하기. 근데 이제 Prometheus를 곁들인
Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇
생성 모델 Luda Gen 1을 출시하기까지의 과정을 소개합니다
Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기
Apache Beam Native API, RunInference로 대규모 데이터 모델 추론하기
Custom Metric(ex. RPS)으로 HPA 설정하기
쿠버네티스 환경에서 Custom Metric으로 오토스케일링 하는 과정을 설명합니다
루다, 눈을 뜨다! 포토챗 베타의 멀티모달 기술 소개
포토챗 베타 서비스를 출시하기까지의 연구 과정을 소개합니다.