ChatGPT는 20B 크기의 모델
(arxiv.org)Microsoft Research에서 EMNLP 2023에 제출한 논문인 "CodeFusion: A Pre-trained Diffusion Model for Code Generation"에서 ChatGPT(gpt-3.5-turbo)의 파라메터 개수가 20B로 공개되었습니다.
- T5 (t5-large): 770M
- CodeT5 (codet5-large): 770M
- GPT3 (text-davinci-003): 175B
- ChatGPT (gpt-turbo-3.5): 20B
원래 GPT3.5도 parameter size가 공개가 안되어있었나요?
저는 단순히 GPT-3 175B에 RLHF한건줄 알았는데 아닌거였나보군요..