# GPT-Neo : GPT-3 규모의 모델을 오픈소스/무료로 만드는 프로젝트

> Clean Markdown view of GeekNews topic #3599. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=3599](https://news.hada.io/topic?id=3599)
- GeekNews Markdown: [https://news.hada.io/topic/3599.md](https://news.hada.io/topic/3599.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2021-01-19T09:54:11+09:00
- Updated: 2021-01-19T09:54:11+09:00
- Original source: [github.com](https://github.com/EleutherAI/gpt-neo/)
- Points: 7
- Comments: 0

## Topic Body

- GPT-3+ 사이즈로 스케일 가능한 두가지 구현체를 개발중

ㅤ→ GPT-Neo : Tensorflow-mesh(TPU) 기반 코드

ㅤ→ GPT-Neox : DeepSpeed(GPU) 기반 코드

- 현재 GPT-2 규모는 학습완료하고 모델 평가 검토

- 단일 단계 학습으로 2천억개 파라미터 까지 테스트

## Comments



_No public comments on this page._