기존 KV 압축 기법 대비 최대 25% 추가 절감, 성능은 오히려 개선 — CASK
(arxiv.org)CASK는 LLM 추론 과정에서 발생하는 KV cache 증가 문제를 해결하기 위해
기존의 token importance 기반 pruning 방식이 아닌,
구조적(role-based) 접근을 제안하는 논문
본 연구는 단 5일 만에 도출되었으며, 지도교수 없이 진행된 개인 연구자 2인의 결과라는 점에서도 주목할 만함
📌 문제 정의
긴 chain-of-thought 추론 시 KV cache가 빠르게 증가하며:
- 메모리 사용량 급증
- 추론 latency 증가
- 장기 reasoning 성능 저하
기존 방식:
- token importance scoring 기반
- 낮은 점수 토큰을 eviction
❌ 기존 방식의 한계
논문 실험 결과:
- importance scoring을 정교하게 개선해도
→ 실제 유지되는 토큰 집합 변화가 제한적
즉,
- eviction 전략 개선만으로는
성능 및 효율 개선에 한계 존재
🔥 핵심 아이디어
CASK는 토큰을 중요도가 아닌 역할 기반으로 분리
Core
- 최종 출력 생성에 직접 기여
- reasoning의 핵심 상태
- 항상 유지
Scratch
- 중간 계산, 탐색 과정에서 생성되는 상태
- 중복 및 불필요 정보 포함 가능
- 압축 및 병합 대상
⚙️ 동작 방식
Prefix Phase
- 입력(prompt) 구간
- 일부 KV eviction 수행
Decode Phase
- 추론 진행 구간
- Scratch 영역만 선택적 compression 적용
👉 기존 대비 차이:
- 단순 삭제 → 선별적 보존 + 구조적 압축
📊 성능
논문 결과 기준:
-
기존 KV 압축 기법 대비
→ 최대 25% 추가 메모리 절감 -
동일 KV cache budget에서
→ 더 높은 정확도 유지 -
일부 구간에서는
→ 더 적은 KV cache로 더 높은 성능 달성
예:
- CASK (KV 384) > 기존 방식 (KV 512)
👉 메모리 사용량 감소 + 성능 향상 동시 달성
📌 기술적 특징
- token-level pruning → structure-aware compression
- eviction 중심 → preserve + reuse 전략
- reasoning 과정에서 정보 재사용 강화
📌 의미
CASK는 KV cache 최적화를
- “얼마나 버릴 것인가”에서
- “무엇을 반드시 유지할 것인가”로 전환
시키는 접근
🚀 요약
- 최대 25% KV cache 추가 절감
- 동일 또는 더 높은 추론 성능 확보
- 구조 기반 KV 관리 방식 제시
수정이 되지 않아 추가적으로 남깁니다!