# DeepSpeed Chat - RLHF를 이용한 ChatGPT-like 모델 훈련용 프레임워크

> Clean Markdown view of GeekNews topic #8972. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=8972](https://news.hada.io/topic?id=8972)
- GeekNews Markdown: [https://news.hada.io/topic/8972.md](https://news.hada.io/topic/8972.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-04-17T10:26:01+09:00
- Updated: 2023-04-17T10:26:01+09:00
- Original source: [github.com/microsoft](https://github.com/microsoft/DeepSpeedExamples/tree/master/applications/DeepSpeed-Chat)
- Points: 12
- Comments: 1

## Topic Body

- 빠르고 저렴하며 확장 가능한 개방형 시스템 프레임워크   
- End-to-End RLHF(Reinforcement Learning Human Feedback)를 통해 모든 규모의 고품질 ChatGPT 스타일 모델을 생성 가능   
- 1클릭으로 48GB 메모리가 장착된 NVIDIA A6000 GPU 한대로 1.3B 파라미터 ChatGPT 모델을 1.36시간내에 훈련, 생성 및 서빙 가능  
- Databricks Dolly, CarperAI-TRLX, Huggingface-PEFT 등이 이용중

## Comments



### Comment 15690

- Author: xguru
- Created: 2023-04-17T10:27:02+09:00
- Points: 1

[DeepSpeed - MS가 공개한 딥러닝 최적화 라이브러리](https://news.hada.io/topic?id=1503)  
[Databricks, ChatGPT와 비슷한 Dolly 2.0 오픈소스로 공개](https://news.hada.io/topic?id=8952)