LLM 컨텍스트 길이 늘이기

[frida]

컨텍스트 길이가 긴 한국어 LLM을 사용하고자 LLM의 컨텍스트 길이를 효율적으로 늘이기 위해 조사 및 시도해본 다양한 방법들

1. LongLoRA
   shifted sparse attention과 LoRA 파인튜닝을 활용해 8배까지 확장

2. Rope-based Position Interpolation
   Llama와 같이 RoPE 기반 임베딩을 사용하는 모델에 RoPE 임베딩을 수정하여 적용 가능하며 파인튜닝을 통하여 16배까지 컨텍스트 길이 확장

3. Dynamic NTK
   파인튜닝 없이 NTK 이론을 적용하여 2배 이상 확장

4. LongLM
   변형된 어텐션을 사용하여 파인튜닝 없이 4배까지 확장

5. ChunkLlama
   텍스트를 Chunk로 분해하여 파인튜닝 없이 Llama 모델의 컨텍스트 길이를 4배로 확장

6. Infini-attention
   적은 추가 메모리 사용으로 2M 까지 연장 가능하며 빠른 추론 가능, Gemini-Pro에 적용된 방법

[superwoou]

요약이 1도 없는 글은 또 처음이네요