GN⁺: Meta, 차세대 언어모델 Llama 2 공개
(ai.meta.com)- 연구 및 상업용도 모두 사용가능한 오픈소스 대규모 언어모델
- Llama 1 대비 40% 많은 2조개의 토큰 데이터로 훈련
- 2배의 컨텍스트 길이: 4096
- 세가지 크기의 모델: 7B, 13B, 70B
- 추론, 코딩, 숙련도, 지식테스트등 많은 벤치마크에서 다른 오픈소스 언어 모델보다 훌륭한 성능(MPT, Falcon, Llama-1)
- 공개된 데이터 소스로 훈련되었으며, 파인튜닝된 Llama-2-chat 역시 공개된 명령어셋 및 백만개가 넘는 사람의 주석을 활용
- Reinforcement Learning from Human Feedback (RLHF) 응 이용. Rejection Sampling 및 Proximal policy optimization (PPO) 포함
- 다운로드에 포함된 것들
- Model code
- Model Weights
- README (User Guide)
- Responsible Use Guide
- License
- Acceptable Use Policy
- Model Card
Hacker News 의견
- Llama 2, GPT-3.5를 특정 벤치마크에서 앞지르고 따라잡는 중
- Llama 2, AI2 Reasoning Challenge, HellaSwag, MMLU 테스트에서 우수한 성능을 보임
- Llama 2, GPT-3.5와 유사한 성능을 가지면서 파라미터 수가 적음
- Llama 2, 쉽게 테스트하고 앱에 추가할 수 있음
- Llama 2, 일부 사용자들이 비판하는 비공개 라이선스를 가지고 있음
- Llama 2, 다양한 도구와 플랫폼을 통해 접근할 수 있음
- Llama 2, 일부 경우에서 우회할 수 있는 가드레일을 가지고 있음
- Llama 2의 출시는 산업에 이로운 긍정적인 움직임으로 여겨짐
- Llama 2, 2T 토큰으로의 훈련은 Llama 1과 비교하여 성능을 향상시켰음
- Llama 모델의 확장은 소비자용 GPU에서 강력한 모델을 이끌 수 있을 것임