# Meta, 32k 토큰의 컨텍스트 윈도우를 지원하는 LLAMA 2 Long 공개

> Clean Markdown view of GeekNews topic #11169. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=11169](https://news.hada.io/topic?id=11169)
- GeekNews Markdown: [https://news.hada.io/topic/11169.md](https://news.hada.io/topic/11169.md)
- Type: news
- Author: [ninebow](https://news.hada.io/@ninebow)
- Published: 2023-10-03T12:00:04+09:00
- Updated: 2023-10-03T12:00:04+09:00
- Original source: [venturebeat.com](https://venturebeat.com/ai/meta-quietly-releases-llama-2-long-ai-that-outperforms-gpt-3-5-and-claude-2-on-some-tasks/?utm_source=pytorchkr)
- Points: 10
- Comments: 0

## Topic Body

- 파운데이션 모델의 효과적인 장기 컨텍스트 확장(Effective Long-Context Scaling of Foundation Models)이라는 논문을 통해 LLaMA2 Long 모델을 공개  
  - 논문 링크: https://arxiv.org/pdf/2309.16039.pdf  
- 컨텍스트 윈도우(context window)의 길이가 32K(32,768) 토큰까지 지원  
- 70B 버전은 이미 긴 컨텍스트 작업 모음에서 gpt-3.5-turbo-16k의 전체 성능을 능가  
- 기존 모델 구조는 유지하면서, 위치 인코딩(Positional Encoding)에 RoPE(Rotary Positional Embedding)을 적용하여 적은 정보로 더 나은 응답 생성  
  - RoPE 설명: https://blog.eleuther.ai/rotary-embeddings/

## Comments



_No public comments on this page._