ChatGPT는 20B 크기의 모델

Microsoft Research에서 EMNLP 2023에 제출한 논문인 "CodeFusion: A Pre-trained Diffusion Model for Code Generation"에서 ChatGPT(gpt-3.5-turbo)의 파라메터 개수가 20B로 공개되었습니다.

• T5 (t5-large): 770M
• CodeT5 (codet5-large): 770M
• GPT3 (text-davinci-003): 175B
• ChatGPT (gpt-turbo-3.5): 20B

[hyeonseokoh94]

이 사이즈가 말이 되나요? 인공지능 하시는 분들 얘기 들어보니 경악하시던데...
All you need is 4090

[geekarxiv]

원래 GPT3.5도 parameter size가 공개가 안되어있었나요?
저는 단순히 GPT-3 175B에 RLHF한건줄 알았는데 아닌거였나보군요..

[spark]

https://arxiv.org/abs/2310.17680v1 v1은 아직 볼 수 있네요

[verilogeek]

"There are some errors in the paper and we need to retract it" 라고 하네요

[verilogeek]

에러가 있는 곳이 어디인지는 모르겠지만 숫자 몇몇개가 틀린거면 단순 revision을 했을테니.. 20B이 맞을 가능성이 높겠죠?