19P by kuroneko 2023-05-04 | favorite | 댓글 2개
  • Replit이 새로운 코드 생성 LLM을 상업적 이용이 가능한 오픈소스로 공개.
  • 2.7B 매개변수로 가볍고 빠르며, 10일만에 훈련이 완료됨.
  • 동급 모델 대비 40%의 성능 향상, 파인튜닝된 모델은 Codex보다 성능이 좋음.
  • The Stack 데이터셋으로 훈련되었으며, 20여개 언어를 생성할 수 있음.
  • Hugging Face에서 바로 데모 사용 가능.

요즘 상업적 이용이 가능한 오픈 소스 LLM이 많이 늘어나는 느낌입니다. LLaMA에 자극된건지...

그리고 모델 크기 대비 성능이 상당히 좋아진 부분이 마음에 드는군요.
이 정도면 일반적인 (GPU 없는) 개발용 컴퓨터에서 로컬로 돌릴 수 있는 수준 아닐까 싶습니다.