# DeepSpeed ZeRO++ : 통신량을 4배 줄이면서 LLM과 채팅 모델 트레이닝 속도의 획기적인 향상

> Clean Markdown view of GeekNews topic #9515. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9515](https://news.hada.io/topic?id=9515)
- GeekNews Markdown: [https://news.hada.io/topic/9515.md](https://news.hada.io/topic/9515.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-06-28T10:03:01+09:00
- Updated: 2023-06-28T10:03:01+09:00
- Original source: [microsoft.com](https://www.microsoft.com/en-us/research/blog/deepspeed-zero-a-leap-in-speed-for-llm-and-chat-model-training-with-4x-less-communication/)
- Points: 10
- Comments: 0

## Topic Body

- LLM은 꽤 많은 양의 메모리와 컴퓨팅 리소스를 필요로 함   
- DeppSpeed의 ZeRO 패밀리는 이런 문제에 대한 해결책을 제공하여 TNLG-17B, Bloom-176B, MPT-7B, Jurrasic-1 등에서 사용됨   
- 하지만 수많은 GPU들이 사용되는 대규모 시나리오에서는 GPU간 잦은 통신이 필요하는 등 오버헤드가 발생   
- ZeRO++은 이런 경우를 위해서 모델 품질에 영향없이 전체 통신 볼륨을 4배 줄임   
  - 대규모 모델 사전 트레이닝 및 파인 튜닝을 가속   
    - GPU당 작은 배치 사이즈: ZeRO 대비 2.2배 처리량   
    - 저 대역폭 클러스터에서도 4배 대역폭과 비슷하게 처리   
  - RLHF를 이용한 ChatGPT 같은 모델도 가속

## Comments



_No public comments on this page._