▲

OPT - Meta가 공개한 GPT-3 규모(175B)의 언어 모델

 (arxiv.org)
7P by xguru 2022-05-04 | favorite | 댓글 1개

"Open Pre-trained Transformer Language Model"

  • 이런 대규모 언어 모델은 상당한 자본이 들어야 구축이 가능하며, API 접근만 공개해서는 연구하기가 어려움
  • 관심있는 연구자들을 위해 전체 모델과 실험용 코드, 로그북을 모두 다운로드 가능하게 공개
  • GPT-3 보다 Carbon Footprint가 1/7만 필요함