Kimi Linear: 표현력과 효율을 높인 어텐션 아키텍처(2025)

 (arxiv.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Kimi Linear는 KDA와 MLA를 3:1로 배치한 하이브리드 구조로, 동일한 학습 조건에서 전체 MLA보다 단기·장기 문맥과 강화학습 평가 전반에서 높은 성능을 기록함
  • 핵심 모듈인 Kimi Delta Attention(KDA) 은 Gated DeltaNet의 헤드 단위 망각 게이트를 채널 단위로 세분화해, 유한한 RNN 메모리의 각 특성 차원이 독립적인 망각률을 갖도록 함
  • 특수한 Diagonal-Plus-Low-Rank(DPLR) 전이 행렬과 청크 단위 병렬 알고리듬으로 일반 DPLR보다 연산량을 줄였으며, 연산자 효율은 약 100% 향상됨
  • 활성 파라미터 3B·전체 파라미터 48B 모델을 1.4T 토큰으로 학습해 MMLU-Pro 4K에서 51.0점, RULER 128K에서 84.3점과 3.98배 가속을 달성했으며, 1M 토큰에서는 MLA보다 출력 토큰당 시간이 6.3배 빨라짐
  • 장문 생성 시 KV 캐시를 최대 75% 절감하면서 기존 전체 어텐션 파이프라인의 캐시·스케줄링 인터페이스를 바꾸지 않고 적용할 수 있고, KDA 커널과 vLLM 구현 및 모델 체크포인트도 공개됨

장기 추론에서 전체 어텐션이 만드는 병목

  • 에이전트형 LLM과 강화학습 기반 테스트 시간 확장은 긴 궤적, 도구 사용 상호작용, 복잡한 의사결정 공간을 추론 중 처리해야 함
  • 표준 소프트맥스 어텐션은 시간 복잡도가 제곱으로 증가하고 KV 캐시가 문맥 길이에 비례해 커지므로 처리량, 문맥 확장, 실시간 상호작용을 제한함
  • 선형 어텐션은 계산 복잡도를 낮출 수 있지만 표현력이 제한돼 짧은 시퀀스의 언어 모델링에서도 소프트맥스 어텐션보다 성능이 낮았음
  • 최근의 게이팅·감쇠 메커니즘과 델타 규칙(delta rule) 은 중간 길이 시퀀스에서 품질 격차를 줄였지만, 순수 선형 구조는 유한 상태 용량 때문에 장기 시퀀스 모델링과 문맥 내 검색에 제약이 있음
  • 일부 전역 어텐션 계층과 다수의 선형 계층을 결합한 하이브리드 구조가 품질과 효율의 절충안으로 등장했으나, 기존 모델은 규모가 제한적이거나 다양한 벤치마크 평가가 부족했음

선형 어텐션에서 Gated DeltaNet까지

  • 기본 선형 어텐션은 행렬 형태의 순환 상태에 키-값 연관을 계속 누적하고, 이를 일시적인 연관 메모리인 빠른 가중치(fast weight) 로 사용함
    • 어떤 기억을 지울지 결정하는 기준이 없어 상태가 무제한으로 누적되고 긴 문맥에서 간섭이 발생함
  • DeltaNet은 상태가 키를 값으로 복원하도록 재구성 손실에 대한 온라인 경사하강을 수행함
    • 기존 상태를 계속 교정하는 고전적 델타 규칙을 사용함
    • 랭크 1 갱신은 일반화된 Householder 변환과 동등하며 청크 단위로 병렬화할 수 있음
  • Gated DeltaNet(GDN)은 스칼라 망각 게이트 αt를 추가해 오래된 연관을 감쇠함
    • 게이트는 빠른 가중치에 대한 가중치 감쇠처럼 작동하며, 데이터 의존적 L2 정규화와 유사한 망각 메커니즘을 구현함
    • 메모리 수명을 제어하고 간섭을 줄이면서 DeltaNet의 병렬화 구조를 유지함
  • GDN은 전이 행렬이 데이터 의존적이고 학습 가능하다는 점에서, RoPE의 직교성 제약을 완화한 곱셈형 위치 인코딩으로 해석할 수 있음

Kimi Delta Attention의 세밀한 메모리 제어

  • KDA는 GDN의 단일 스칼라 감쇠를 대각화된 채널 단위 게이트로 교체해 각 특성 차원의 메모리 감쇠와 위치 정보를 독립적으로 제어함
  • 채널별 망각률은 제한된 유한 상태 RNN 메모리를 더 정밀하게 조절하며, Gated Linear Attention(GLA)과 유사한 세분성을 제공함
  • 전이 동역학은 특수한 DPLR 행렬로 매개변수화되며 고전적 델타 규칙과의 일관성을 유지함
  • 일련의 랭크 1 행렬 변환은 밀집 표현으로 압축돼 대각 게이팅 아래에서도 안정적인 청크 단위 병렬 처리를 지원함

청크 단위 병렬 알고리듬

  • 시퀀스를 고정 길이 청크로 나누고 각 청크의 초기 상태로 이전 청크의 마지막 상태를 사용함
  • WY 표현으로 여러 랭크 1 갱신을 하나의 압축 표현으로 묶으며, Comba의 전개를 따라 후속 계산에서 추가 행렬 역산이 필요하지 않도록 함
  • UT 변환은 행렬 곱셈이 아닌 연산의 FLOP을 줄여 학습 중 하드웨어 활용률을 높임
    • 하삼각 행렬의 역행렬은 가우스 소거법의 전진 대입을 이용해 행 단위로 계산함
  • 상태 갱신은 청크 단위 행렬 형태로 수행하고, 출력 단계에서는 청크 간 순환 처리와 청크 내부 병렬 처리를 결합함
  • 청크 내부 계산을 행렬 곱셈 중심으로 구성해 Tensor Core 처리량을 활용함

일반 DPLR보다 줄어든 연산량

  • KDA와 일반화된 DPLR은 모두 세밀한 감쇠를 지원해 표현 용량 측면에서 대응함
  • 세밀한 감쇠는 청크 내부 나눗셈에서 수치 정밀도 문제를 일으킬 수 있음
    • GLA는 로그 영역 계산과 완전 정밀도의 2차 청킹을 사용하지만, 반정밀도 행렬 곱셈 활용이 제한돼 연산자 속도가 낮아짐
  • KDA는 DPLR 전이의 두 변수를 모두 키 k에 결합함
    • 2차 청크 행렬 계산을 4개에서 2개로 줄임
    • 추가 행렬 곱셈 3개를 제거함
  • 입력 길이별 커널 측정에서 KDA의 연산자 효율은 일반 DPLR보다 약 100% 향상됨

Kimi Linear 모델 구성

  • 모델 백본은 Moonlight를 따르며, 토큰 혼합 계층 뒤에 MoE 채널 혼합 계층을 배치함
  • 각 KDA 헤드의 쿼리·키·값은 ShortConv와 Swish를 거쳐 계산됨
    • 쿼리와 키에는 고윳값 안정성을 위한 L2 정규화가 추가됨
    • 키와 값의 헤드 차원은 모든 실험에서 128로 설정됨
  • 채널별 감쇠 게이트는 헤드 차원과 같은 랭크의 저랭크 투영으로 매개변수화되며, GDN·Mamba와 유사한 감쇠 함수를 사용함
  • 출력 투영 전에는 헤드별 RMSNorm과 데이터 의존적 출력 게이트를 적용함
    • 출력 게이트도 저랭크로 구성해 전체 랭크 게이트와 비슷한 성능을 유지하면서 공정한 파라미터 비교를 지원함
    • 이 게이트는 Attention Sink를 완화함

KDA와 MLA의 3:1 하이브리드

  • 순수 선형 어텐션의 장기 문맥 검색 한계를 보완하기 위해 KDA 계층 사이에 전체 전역 어텐션인 Full MLA 계층을 배치함
  • 하나의 계층 안에서 헤드를 혼합하는 대신 전체 계층을 번갈아 배치함
    • 계층 단위 구성은 인프라가 단순하고 학습 안정성이 높음
  • 실험에서는 KDA 3개 다음 MLA 1개를 반복하는 3:1 비율이 품질과 처리량 사이에서 가장 좋은 균형을 제공함
  • 장문 생성에서는 전체 어텐션 계층만 KV 캐시를 유지하므로 메모리와 KV 캐시 사용량을 최대 75% 줄이면서 전역 정보 흐름을 보존함

NoPE 적용과 평가 결과

  • 모든 MLA 계층에는 위치 인코딩을 사용하지 않는 NoPE를 적용하고, 위치 정보와 최신성 편향은 KDA가 담당함
  • KDA는 짧은 컨볼루션이나 슬라이딩 윈도 어텐션 같은 보조 위치 인식 구성요소와 유사하거나 더 강한 역할을 수행함
  • NoPE를 사용하면 MLA를 추론 시 효율적인 순수 Multi-Query Attention(MQA)으로 변환할 수 있음
  • RoPE의 주파수 기반 조정이나 YaRN 같은 기법이 필요하지 않아 장기 문맥 학습이 단순해짐
  • 동일한 방식으로 1.4T 토큰을 학습한 비교에서 Kimi Linear는 다음 결과를 기록함
    • MMLU-Pro 4K에서 51.0점으로 MLA 47.2점과 GDN-H 47.9점을 앞섬
    • RULER 128K에서 84.3점과 3.98배 가속을 달성해 MLA 81.3점과 GDN-H 80.5점을 넘음
    • 1M 토큰에서 출력 토큰당 시간(TPOT)은 1.84ms로, MLA의 11.48ms보다 6.3배 빨라짐
    • 긴 시퀀스에서도 낮은 TPOT를 유지해 더 큰 배치를 사용할 수 있음
  • 사전 학습 모델은 활성 파라미터 3B, 전체 파라미터 48B이며 단기 문맥, 장기 문맥, 강화학습식 사후 학습 과제에서 전체 MLA를 일관되게 앞섬
  • KDA 커널, vLLM 통합, Kimi-Linear-48B-A3B-Instruct 체크포인트가 공개됨
    • 기존 전체 어텐션 파이프라인의 캐시 또는 스케줄링 인터페이스를 수정하지 않고 교체할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 최근 공개된 Kimi K3 논문을 보면 여기서 다룬 Kimi Linear를 대규모로 확장하고, 네이티브 비전과 강화학습 개선 등을 추가한 구조임
    https://arxiv.org/abs/2607.24653

  • 최첨단 모델에서 보이는 지능이 정말 아키텍처를 확장할 때만 나타나는 창발 현상인지 궁금함
    같은 구조의 100만 매개변수 모델은 기본 퍼즐도 못 풀다가 1조 매개변수 모델은 야코비안 추측의 반례까지 만들어내는 게 직관에 어긋나 보임. 단순 정렬 알고리즘에 연산을 더 준다고 퀵정렬을 이기지는 못하는데, 현대 LLM 연구는 같은 알고리즘과 구조를 계속 키우며 해답이 나오길 기대하는 경쟁처럼 보임

    • 이는 머신러닝에서 쓰라린 교훈(The Bitter Lesson) 으로 잘 알려진 현상임. 계산량이 크게 늘어나도 계속 확장되는 범용 방법의 힘을 배워야 하며, 그런 방법은 탐색과 학습이라는 내용임
      짧은 원문도 읽어볼 만함: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
    • 요즘은 이 분야를 떠났고 전공도 LLM보다 강화학습에 가깝지만, 결국 의미와 지능은 내부 표현에 담긴다고 봄. 작은 모델은 입력을 의미와 출력으로 연결하는 내부 매핑을 처음부터 학습할 용량이 부족하거나, 단순 정렬처럼 이론상 가능해도 현실적으로 감당하기 어려운 시간이 필요할 수 있음
      큰 모델은 그 내부 표현 공간에 발판을 마련하기 쉬우며, 최적화가 진행된 뒤에는 가중치 대부분이 별일을 하지 않을 수도 있음. 이 공간을 학습하는 데 필요한 표현력은 아직 명확하지 않지만 지금까지는 수십억 매개변수가 필요한 듯함
      더 흥미로운 질문은 모델이 데이터에 얼마나 불변적이어야 하느냐임. 수학적 추론과 프로그래밍이 전반적인 성능을 크게 높인 이유는 넓은 작업군에서 반복 가능한 기술이기 때문이라고 봄. 언어나 작업에 구애받지 않는 프로그래밍 논리를 집중적으로 학습시키는 것이 더 작은 모델로 가는 길일 수 있음
    • 모델 규모 확대는 지능을 높이는 가장 일관되고 신뢰할 만한 방법 중 하나임. AI 학습은 알고리즘으로 다른 알고리즘을 계산적으로 찾고 다듬는 과정이며, 규모를 키우면 목표에 맞는 더 나은 알고리즘을 탐색할 자원이 늘어남
      비유하면 작은 모델은 용량과 학습 신호의 제약 때문에 내부적으로 버블 정렬 수준에 머물지만, 큰 모델은 더 깊이 탐색해 퀵정렬에 가까운 방식을 찾을 수 있음
      지능은 이분법적이지 않으며, 10억 매개변수와 10조 매개변수 모델 모두 어느 정도의 지능을 가짐. 전자는 통계적 규칙성에 지나치게 의존해 무시하기 쉽고, 후자는 미해결 추측의 새로운 반례를 찾을 만큼 발전했을 뿐임. 둘 사이도 갑작스러운 도약보다는 작은 향상이 쌓여 눈사태가 되는 형태에 가까움
      수학 능력 같은 구체적 성과는 급격히 뛰는 것처럼 보여도, 그 밑에는 실수를 줄이고 실수에서 회복하는 범용 능력이 점진적으로 쌓여 있음. 이런 능력이 충분히 좋아지면 전혀 새로운 유형의 논리 문제도 풀리기 시작함
    • 딥러닝 이론 관점에서 보면 지능은 주로 규모 확장에서 오며, 잘 설계된 모델·최적화기 조합이 단순성을 향한 강한 암묵적 편향을 가질 때 모델 크기에 따라 성능이 계속 향상될 수 있음
      Marcus Hutter 연구실은 이를 솔로모노프 귀납법으로 표현해 이 편향이 보편적으로 효과적임을 보였음. 효과적인 편향은 차원의 저주를 역으로 활용해, 데이터가 많을수록 더 나은 답을 얻는 것과 비슷하게 큰 모델에서 성능을 계속 높일 수 있음
      다만 이런 특성을 보이는 모델 부류는 극도로 좁으며, 운 좋게 그 지점에 도달한 것에 가까움. 일반적인 통계 원칙에서는 여전히 이런 동작을 대체로 기대하지 말라고 가르치는 이유임
    • 인간이 기본 문제와 매우 어려운 문제로 구분하는 것들이 절대적인 척도에서는 서로 매우 가까울 수 있음. 차이는 주로 문제를 풀 수 있는 인간의 비율인데, 인간 능력의 하한조차 상당히 높음. 대다수 인간에게 기본적인 문제를 푸는 동물은 드물지만 복잡한 행동과 학습이 가능하며, 뉴런 규모도 인간과 터무니없이 다르지는 않음
      100만에서 1조 매개변수로의 증가는 100만 배 확장임. 인간 뇌를 각 방향으로 1% 크기, 즉 수 mm 수준까지 줄이는 것과 비슷함

  • Kimi Linear로 내부 모델을 만들기 시작했는데 이후 나온 Gated Deltanet 2가 표현력 측면에서 발전형처럼 보였고, 자체 시험에서도 실제로 더 나았음
    https://arxiv.org/abs/2605.22791

    • 읽어보니 LSTM을 다시 구현한 것처럼 느껴짐

  • 연구를 위해 KDA 커널과 vLLM 구현을 오픈소스로 공개하고, 사전 학습 및 지시 튜닝 모델 체크포인트까지 배포한 점이 훌륭함

  • Kimi의 성공을 증류 공격으로만 믿고 싶다면 이 연구는 무시하면 됨

    • 이제는 이것을 증류 공격이라고 부르는 것부터 그만두면 좋겠음
    • 중국 연구소가 인상적인 혁신을 하고 있다는 사실과 증류로 이득을 얻었을 가능성은 양립함. 어느 쪽이 얼마나 기여했는지는 모르지만, 둘 중 하나만 참이어야 한다는 건 거짓 양자택일임
    • 증류을 비난하는 건 카지노가 카드 카운팅을 비난하는 것처럼 들림
    • 미국이 AI 경쟁에서 이기길 바라지만, 오늘날의 발명 대부분도 과거 지식의 증류가 아닌지 이해하기 어려움. Anthropic은 자신들이 가져온 데이터를 영업비밀이라고 주장하는 것인지 궁금함
    • 최첨단 모델은 한 가지 요소만으로 만들 수 없음. 이것은 점진적 개선일 뿐 모델 성공 전체를 설명하지 못하며, 증류에 대한 입장과 무관하게 학습 데이터셋이 엄청나게 중요함

  • 같은 크기의 완전 어텐션 모델과 비교했을 때 장문 맥락 검색, 특히 needle-in-a-haystack이나 RULER 성능이 어떤지 궁금함. 효율 향상은 훌륭하지만 선형 어텐션 혼합 모델은 대개 이 부분에서 무너짐

  • 이런 비표준 Transformer가 널리 쓰이기 시작하면 Etched 같은 회사는 곤란해지는지 궁금함

  • 이 논문은 2025년 자료이며 이미 9개월이 지났고, 그사이 주요 모델이 새로 출시됐음

    • K3에 관해서는 이 논문을 읽는 편이 나음: https://arxiv.org/abs/2607.24653
      K3 논문의 핵심 기여는 Stable LatentMoE임. 다른 일부 모델처럼 계층 사이에 전달되는 데이터를 압축하므로 라우터에 특정 조건이 요구되며, K3는 더 균형 잡힌 전문가 선택 전략으로 성능을 높임
    • 당시에는 충분히 논의되지 않았음: https://news.ycombinator.com/item?id=45766937
    • 새 Kimi K3에 KDA 계층 69개와 Gated MLA 계층 24개가 들어가서 다시 올린 것으로 보임. 이전 대형 Kimi 모델은 MLA 계층만 사용했던 것으로 알고 있음
답변달기