ChatLLaMA - LLaMa 기반 ChatGPT의 오픈소스 구현체
(github.com/nebuly-ai)- Meta가 최근 릴리즈한 LLaMA는 RLHF 훈련 프로세스에는 파인튜닝 되어있지 않음
- ChatLLaMA는 LLaMA를 이용한 RLHF 구현체로 ChatGPT 스타일 서비스를 구축할 수 있는 완전한 오픈소스
- ChatGPT 보다 15배 정도 빠르게 훈련 가능
- 파인튜닝 프로세스 속도 향상을 위해 DeepSpeed ZERO 지원 내장
- LLaMA의 7B, 13B, 33B, 65B 모두를 지원해서 자신에 맞는 사이즈를 선택 가능