10P by xguru 11달전 | favorite | 댓글과 토론
  • LLM은 꽤 많은 양의 메모리와 컴퓨팅 리소스를 필요로 함
  • DeppSpeed의 ZeRO 패밀리는 이런 문제에 대한 해결책을 제공하여 TNLG-17B, Bloom-176B, MPT-7B, Jurrasic-1 등에서 사용됨
  • 하지만 수많은 GPU들이 사용되는 대규모 시나리오에서는 GPU간 잦은 통신이 필요하는 등 오버헤드가 발생
  • ZeRO++은 이런 경우를 위해서 모델 품질에 영향없이 전체 통신 볼륨을 4배 줄임
    • 대규모 모델 사전 트레이닝 및 파인 튜닝을 가속
      • GPU당 작은 배치 사이즈: ZeRO 대비 2.2배 처리량
      • 저 대역폭 클러스터에서도 4배 대역폭과 비슷하게 처리
    • RLHF를 이용한 ChatGPT 같은 모델도 가속