GPT-NeoX-20B 에게 사칙연산 질문을 물어봤더니

- GPT-3 규모의 모델을 오픈소스로 만든 GPT-NeoX 에게 간단한 사칙연산 질문을 수행
- 100개중에 10개만 정답. 하지만 대부분이 정답에 *근접*
Q: "What is 2653 * 30641?"
A: 82356113 (틀림)
정답은 81290573
- "언어 모델"은 기본적으로 수학은 잘 하지 못하는 것으로 알려져 있음(아마도 부분적으로는 숫자를 토큰화 하는 방식 때문일 것)

[louie]

진짜 정답이 81290573이고, GPT-NeoX의 정답이 82356113 아닌가요?
직접 암산도 해보고 계산기도 돌려봤는데 정답은 81290573인 것 같아서요!
(링크에 있는 사진에서도 Correct가 No로 되어있는 모습을 볼 수 있습니다.
아니라면 지적 부탁드립니다!)

[xguru]

어랏 ㅠㅠ 제가 적다가 앞뒤를 바꿨나 보네요. 수정해두었습니다 ㅠ

[budlebee]

오히려 근사값을 정답으로 내놓는다는게 사람같아서 더 놀랍네요.

[xguru]

이에 대한 자세한 얘기들은 HN 댓글에 많네요 https://news.ycombinator.com/item?id=30299360

- GPT-Neo : GPT-3 규모의 모델을 오픈소스/무료로 만드는 프로젝트 https://news.hada.io/topic?id=3599