Koala: 학술 연구를 위한 대화형 모델(LLaMA기반 챗봇)
(bair.berkeley.edu)- Alpaca와 비슷하게 LLaMA를 대화 및 명령 셋으로 훈련한 Koala-13B 모델
- 다양한 쿼리에 대해 Alpaca 보다 선호되는 결과를 생성하며, 적어도 절반 이상의 경우에 ChatGPT와 동일한 응답 생성 가능
- 웹에서 수집한 오픈소스 대화 데이터로 Supervised Fine-Tuning
- ShareGPT의 60K 대화
- HC3의 87K 질답 예제
- Open Instruction Generalist (OIG)
- Stanford Alpaca 가 공개한 52K 데이터셋
- Anthropic HH (160K)
- OpenAI WebGPT (20K))
- OpenAI Summarization (93K)