# Meta, 차세대 언어모델 Llama 2 공개

> Clean Markdown view of GeekNews topic #9871. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9871](https://news.hada.io/topic?id=9871)
- GeekNews Markdown: [https://news.hada.io/topic/9871.md](https://news.hada.io/topic/9871.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2023-07-19T09:47:31+09:00
- Updated: 2023-07-19T09:47:31+09:00
- Original source: [ai.meta.com](https://ai.meta.com/llama/)
- Points: 5
- Comments: 1

## Topic Body

- 연구 및 상업용도 모두 사용가능한 오픈소스 대규모 언어모델   
- Llama 1 대비 40% 많은 2조개의 토큰 데이터로 훈련   
- 2배의 컨텍스트 길이: 4096  
- 세가지 크기의 모델: 7B, 13B, 70B   
- 추론, 코딩, 숙련도, 지식테스트등 많은 벤치마크에서 다른 오픈소스 언어 모델보다 훌륭한 성능(MPT, Falcon, Llama-1)  
- 공개된 데이터 소스로 훈련되었으며, 파인튜닝된 Llama-2-chat 역시 공개된 명령어셋 및 백만개가 넘는 사람의 주석을 활용  
  - Reinforcement Learning from Human Feedback (RLHF) 응 이용. Rejection Sampling 및 Proximal policy optimization (PPO) 포함  
- 다운로드에 포함된 것들  
  - Model code  
  - Model Weights  
  - README (User Guide)  
  - Responsible Use Guide  
  - License  
  - Acceptable Use Policy  
  - Model Card

## Comments



### Comment 17439

- Author: neo
- Created: 2023-07-19T09:47:31+09:00
- Points: 1

###### [Hacker News 의견](http://news.ycombinator.com/item?id=36774627) 
- Llama 2, GPT-3.5를 특정 벤치마크에서 앞지르고 따라잡는 중
- Llama 2, AI2 Reasoning Challenge, HellaSwag, MMLU 테스트에서 우수한 성능을 보임
- Llama 2, GPT-3.5와 유사한 성능을 가지면서 파라미터 수가 적음
- Llama 2, 쉽게 테스트하고 앱에 추가할 수 있음
- Llama 2, 일부 사용자들이 비판하는 비공개 라이선스를 가지고 있음
- Llama 2, 다양한 도구와 플랫폼을 통해 접근할 수 있음
- Llama 2, 일부 경우에서 우회할 수 있는 가드레일을 가지고 있음
- Llama 2의 출시는 산업에 이로운 긍정적인 움직임으로 여겨짐
- Llama 2, 2T 토큰으로의 훈련은 Llama 1과 비교하여 성능을 향상시켰음
- Llama 모델의 확장은 소비자용 GPU에서 강력한 모델을 이끌 수 있을 것임