▲

Upstage, 10.7B SOLAR 모델을 상용화 가능한 라이선스로 공개

 (huggingface.co)
9P by xguru 5달전 | favorite | 댓글 1개
  • 기존의 Llama2 7B의 능력을 극대화하기 위해 Depth Up-Scaling 기술을 개발하여 적용
  • 벤치마크상 매개변수가 30억개 미만인 모델에서는 뛰어난 성능을 보이며, 6배 크기의 QWEN 이나 최근 출시된 Mixtral 8x7B 모델을 능가
    • OpenLLM 리더보드에서 74.2점으로 1등. 알리바바의 QWEN-72B가 73.6, Mixtral-8x7B가 72.6
  • Instruction 파인튜닝이 잘 적용됨
  • 이번 공개된 모델은 영어 기반이기 때문에 한국어 성능은 낮을 수 있음