GPT-4 에 대한 소문들
(thealgorithmicbridge.substack.com)- GPT-4는 거의 준비되었으며 12월에서 2월 사이에 출시될 예정
- 튜링 테스트를 통과할지도
- 매우 크고 Sparse함 (모든 뉴런이 한번에 활동하지 않는다는 것)
- 크기를 비교하는게 무의미함
- 내 생각엔 Sparsity(희소성)이 AI의 미래임
- 텍스트, 오디오, 이미지, 비디오 입력을 허용하는 다중 모드(multimodality)
- 이 역시 AI의 미래. 우리 뇌가 그럴뿐만 아니라 세상이 multimodal 이기 때문
- 훈련비용이 GPT-3보다 훨씬 저렴한 $.e6($1~10M)
- OpenAI가 비용을 줄이는 방법을 찾았다는 것을 의미