LLM 글 모음

빅웨이브에이아이

2024-01-24 · 2년 이상 전

빅웨이브에이아이 이원석 님의 리뷰입니다. LLM 모델인 GPT-4, PaLM, LLama 등은 범용적인 목적에 맞게, 매우 큰 모델 사이즈와 매우 방대한 양의 데이터로 사전 학습이 수행됨 일반적인 LLM의 경우 방대한 양의 데이터로 부터 매우 다양한 도메인 지식을 습득 But, 사전 학습 데이터에서 욕설, 편향적인 정보, 부정확한 정보를 담은 문서 등 적절치 못한 데이터를 다수 포함 데이터 클렌징 및 필터링 등 방대한 양의 데이터를 사람이 전부

빅웨이브에이아이

2024-01-24 · 2년 이상 전

Introduction 안녕하세요! 빅웨이브에이아이 이현상입니다! 요즘 들어 블로그 포스트를 거의 올리지 못해 저도 참 아쉬웠는데요, 사실 저도 직장 근무를 하면서 회사 블로그 운영하기가 쉽지는 않더라구요 ㅜㅜ 그래서 아에 블로그를 지금처럼.. 방치하기 보다는, 저희 회사의 월간 세미나로 정리되는 내용을 하나씩 공유드리고자 합니다! 최근 저희 회사에서는 최신 트렌드에 발맞춰서 LLM(Large Language Model) 및 생성형 AI 관련

카카오뱅크

2024-01-15 · 2년 이상 전

CarbonVillain 모델로 Huggingface Open LLM Leaderboard에서 1위를 달성한 자연어처리 엔지니어 Weezy의 글을 통해 Open LLM Leaderboard의 개요, 모델 병합 방법론, 그리고 리더보드 도전 후기를 살펴 보세요. Weezy가 속한 팀에서 진행하고 있는 프로젝트와 오픈소스 언어모델 KF-DeBERTa도 알아 볼 수 있는 기회입니다. 자연어처리에 관심 있는 분들은 이 글을 놓치지 마세요!

스캐터랩

2023-11-17 · 2년 이상 전

"RLHF 외에 Human feedback을 학습할 수 있는 방법론들에 대해서 소개하고 핑퐁팀에서 실험한 경험을 공유합니다."

스캐터랩

2023-08-16 · 거의 3년 전

LLM 서빙을 위한 다양한 최적화 기법과 그 효과를 검증하기 위한 부하 테스트 방법론

스캐터랩

2023-07-21 · 약 3년 전

루다, 다온에게 지연 답변 기능을 구현한 과정을 설명합니다.

NC소프트 DANBI

2021-10-01 · 거의 5년 전

Introduction Machine Learning/Deep Learning의 발전이 급격히 이루어지면서 다양한 인공지능 모델이 연구되고 만들어지고 있습니다. 최근에는 OpenAI의 GPT-3, NAVER CLOVA의 HYPERCLOVA등 거대 AI모델들이 출연하고 있습니다. 필자는 이런 모델들을 연구하고 공부하면서 이 모델자체를 어떻게 분류하는게 맞는가 하는 고민을 항상 같이 합니다. 예를 들어 어떤 모델을 사용하면 이 모델 자체를 분류모델

화해

2021-06-29 · 약 5년 전

BERT 화해팀은 우리가 가진 데이터를 어떻게 잘 가공해서 앱을 이용하는 고객들에게 더 좋은 서비스로 돌려드릴 수 있을지를 지속적으로 고민해 왔는데요, Hwahae PLM 개발의 출발점이 된 저희의 질문도 바로 여기에서 시작되었습니다.

ZUM

2020-02-27 · 6년 이상 전

2019년도 NeurIPS 학회의 논문 통계를 공유합니다 본 문서는 2019년 12월에 개최되었던 NeurIPS 2019(the Thirty-third Conference on Neural Information Processing Systems)에 게재된 논문들의 각종 통계 수치를 분석한 글입니다. Introduction NeurIPS는 세계 최고 권위의 인공지능 학회로, 1987년부터 매해 컨퍼런스를 개최하여 2019년 12월에는 캐나다 밴쿠