MS와 Nvidia가 세계 최대규모 언어 모델 MT-NLG 530B를 발표
(developer.nvidia.com)- Megatron-Turing Natural Language Generation
- GPT-3의 1750억개보다 큰 5300억개의 파라미터
- 기존과 비교되지 않는 정확도를 보임
ㅤ→ 문장 완성, 이해력, 상식적인 추론, 자연어 추론 등
- 105개 레이어, 트랜스포머 기반
- NVIDIA A100 Tensor Core GPU & HDR InifiniBand 네트워킹
- 슈퍼컴퓨팅 클러스터인 NVIDIA Selene 와 Microsoft Azure NDv4