DeepSpeed Chat - RLHF를 이용한 ChatGPT-like 모델 훈련용 프레임워크
(github.com/microsoft)- 빠르고 저렴하며 확장 가능한 개방형 시스템 프레임워크
- End-to-End RLHF(Reinforcement Learning Human Feedback)를 통해 모든 규모의 고품질 ChatGPT 스타일 모델을 생성 가능
- 1클릭으로 48GB 메모리가 장착된 NVIDIA A6000 GPU 한대로 1.3B 파라미터 ChatGPT 모델을 1.36시간내에 훈련, 생성 및 서빙 가능
- Databricks Dolly, CarperAI-TRLX, Huggingface-PEFT 등이 이용중