DeepSpeed ZeRO++ : 통신량을 4배 줄이면서 LLM과 채팅 모델 트레이닝 속도의 획기적인 향상
(microsoft.com)- LLM은 꽤 많은 양의 메모리와 컴퓨팅 리소스를 필요로 함
- DeppSpeed의 ZeRO 패밀리는 이런 문제에 대한 해결책을 제공하여 TNLG-17B, Bloom-176B, MPT-7B, Jurrasic-1 등에서 사용됨
- 하지만 수많은 GPU들이 사용되는 대규모 시나리오에서는 GPU간 잦은 통신이 필요하는 등 오버헤드가 발생
- ZeRO++은 이런 경우를 위해서 모델 품질에 영향없이 전체 통신 볼륨을 4배 줄임
- 대규모 모델 사전 트레이닝 및 파인 튜닝을 가속
- GPU당 작은 배치 사이즈: ZeRO 대비 2.2배 처리량
- 저 대역폭 클러스터에서도 4배 대역폭과 비슷하게 처리
- RLHF를 이용한 ChatGPT 같은 모델도 가속
- 대규모 모델 사전 트레이닝 및 파인 튜닝을 가속