# MS와 Nvidia가 세계 최대규모 언어 모델 MT-NLG 530B를 발표

> Clean Markdown view of GeekNews topic #5187. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=5187](https://news.hada.io/topic?id=5187)
- GeekNews Markdown: [https://news.hada.io/topic/5187.md](https://news.hada.io/topic/5187.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2021-10-13T10:01:01+09:00
- Updated: 2021-10-13T10:01:01+09:00
- Original source: [developer.nvidia.com](https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/)
- Points: 8
- Comments: 0

## Topic Body

- Megatron-Turing Natural Language Generation

- GPT-3의 1750억개보다 큰 5300억개의 파라미터

- 기존과 비교되지 않는 정확도를 보임

ㅤ→ 문장 완성, 이해력, 상식적인 추론, 자연어 추론 등

- 105개 레이어, 트랜스포머 기반

- NVIDIA A100 Tensor Core GPU & HDR InifiniBand 네트워킹

- 슈퍼컴퓨팅 클러스터인 NVIDIA Selene 와 Microsoft Azure NDv4

## Comments



_No public comments on this page._