DeepSpeed - MS가 공개한 딥러닝 최적화 라이브러리

- PyTorch 위의 경량 래퍼
- 최소한의 코드 변경, 10배 이상 큰 모델, 5배 이상의 속도
- Zero Redundancy Optimizer (ZeRO)적용으로 학습시 사용하는 메모리 최소화(4x)