Alpaca: GPT-3.5 수준의 강력한 오픈소스 Instruction-Following 모델

• 스탠포드 CRFM에서 메타의 LLaMA 7B를 52K Instruction-Following 데이터를 통해서 파인튜닝
• OpenAI의 GPT-3.5(text-davinci-003)와 비슷하게 동작하지만, 매우 작고 저렴
• 훈련 레시피와 데이터를 공개하며, 차후에는 모델 가중치도 릴리즈 예정
• 연구목적으로만 공개하며, 상업적 이용은 금지
• 파인튜닝하는데 8개의 80GB A100에서 3시간 걸렸으며, 클라우드에서 약 100달러 미만으로 가능

[xguru]

Repo : https://github.com/tatsu-lab/stanford_alpaca
웹데모 : https://crfm.stanford.edu/alpaca/

LLaMA의 공개는 정말 Stable Diffusion Moment를 만들어내고 있네요. 정말 빠르게 변하고 있습니다.