# Kimi Linear: 표현력과 효율을 높인 어텐션 아키텍처(2025) > Clean Markdown view of GeekNews topic #31936. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=31936](https://news.hada.io/topic?id=31936) - GeekNews Markdown: [https://news.hada.io/topic/31936.md](https://news.hada.io/topic/31936.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-07-29T11:33:24+09:00 - Updated: 2026-07-29T11:33:24+09:00 - Original source: [arxiv.org](https://arxiv.org/abs/2510.26692) - Points: 1 - Comments: 1 ## Topic Body - **Kimi Linear**는 KDA와 MLA를 3:1로 배치한 하이브리드 구조로, 동일한 학습 조건에서 전체 MLA보다 단기·장기 문맥과 강화학습 평가 전반에서 높은 성능을 기록함 - 핵심 모듈인 **Kimi Delta Attention(KDA)** 은 Gated DeltaNet의 헤드 단위 망각 게이트를 채널 단위로 세분화해, 유한한 RNN 메모리의 각 특성 차원이 독립적인 망각률을 갖도록 함 - 특수한 **Diagonal-Plus-Low-Rank(DPLR)** 전이 행렬과 청크 단위 병렬 알고리듬으로 일반 DPLR보다 연산량을 줄였으며, 연산자 효율은 약 100% 향상됨 - 활성 파라미터 3B·전체 파라미터 48B 모델을 1.4T 토큰으로 학습해 MMLU-Pro 4K에서 51.0점, RULER 128K에서 84.3점과 3.98배 가속을 달성했으며, 1M 토큰에서는 MLA보다 **출력 토큰당 시간이 6.3배 빨라짐** - 장문 생성 시 **KV 캐시를 최대 75% 절감**하면서 기존 전체 어텐션 파이프라인의 캐시·스케줄링 인터페이스를 바꾸지 않고 적용할 수 있고, KDA 커널과 vLLM 구현 및 모델 체크포인트도 공개됨 --- ### 장기 추론에서 전체 어텐션이 만드는 병목 - 에이전트형 LLM과 강화학습 기반 테스트 시간 확장은 긴 궤적, 도구 사용 상호작용, 복잡한 의사결정 공간을 추론 중 처리해야 함 - 표준 소프트맥스 어텐션은 **시간 복잡도가 제곱으로 증가**하고 KV 캐시가 문맥 길이에 비례해 커지므로 처리량, 문맥 확장, 실시간 상호작용을 제한함 - 선형 어텐션은 계산 복잡도를 낮출 수 있지만 표현력이 제한돼 짧은 시퀀스의 언어 모델링에서도 소프트맥스 어텐션보다 성능이 낮았음 - 최근의 게이팅·감쇠 메커니즘과 **델타 규칙(delta rule)** 은 중간 길이 시퀀스에서 품질 격차를 줄였지만, 순수 선형 구조는 유한 상태 용량 때문에 장기 시퀀스 모델링과 문맥 내 검색에 제약이 있음 - 일부 전역 어텐션 계층과 다수의 선형 계층을 결합한 하이브리드 구조가 품질과 효율의 절충안으로 등장했으나, 기존 모델은 규모가 제한적이거나 다양한 벤치마크 평가가 부족했음 ### 선형 어텐션에서 Gated DeltaNet까지 - 기본 선형 어텐션은 행렬 형태의 순환 상태에 키-값 연관을 계속 누적하고, 이를 일시적인 연관 메모리인 **빠른 가중치(fast weight)** 로 사용함 - 어떤 기억을 지울지 결정하는 기준이 없어 상태가 무제한으로 누적되고 긴 문맥에서 간섭이 발생함 - DeltaNet은 상태가 키를 값으로 복원하도록 재구성 손실에 대한 온라인 경사하강을 수행함 - 기존 상태를 계속 교정하는 고전적 델타 규칙을 사용함 - 랭크 1 갱신은 일반화된 Householder 변환과 동등하며 청크 단위로 병렬화할 수 있음 - Gated DeltaNet(GDN)은 스칼라 망각 게이트 `αt`를 추가해 오래된 연관을 감쇠함 - 게이트는 빠른 가중치에 대한 **가중치 감쇠**처럼 작동하며, 데이터 의존적 L2 정규화와 유사한 망각 메커니즘을 구현함 - 메모리 수명을 제어하고 간섭을 줄이면서 DeltaNet의 병렬화 구조를 유지함 - GDN은 전이 행렬이 데이터 의존적이고 학습 가능하다는 점에서, RoPE의 직교성 제약을 완화한 곱셈형 위치 인코딩으로 해석할 수 있음 ### Kimi Delta Attention의 세밀한 메모리 제어 - **KDA**는 GDN의 단일 스칼라 감쇠를 대각화된 채널 단위 게이트로 교체해 각 특성 차원의 메모리 감쇠와 위치 정보를 독립적으로 제어함 - 채널별 망각률은 제한된 유한 상태 RNN 메모리를 더 정밀하게 조절하며, Gated Linear Attention(GLA)과 유사한 세분성을 제공함 - 전이 동역학은 특수한 **DPLR 행렬**로 매개변수화되며 고전적 델타 규칙과의 일관성을 유지함 - 일련의 랭크 1 행렬 변환은 밀집 표현으로 압축돼 대각 게이팅 아래에서도 안정적인 청크 단위 병렬 처리를 지원함 ### 청크 단위 병렬 알고리듬 - 시퀀스를 고정 길이 청크로 나누고 각 청크의 초기 상태로 이전 청크의 마지막 상태를 사용함 - WY 표현으로 여러 랭크 1 갱신을 하나의 압축 표현으로 묶으며, Comba의 전개를 따라 후속 계산에서 추가 행렬 역산이 필요하지 않도록 함 - **UT 변환**은 행렬 곱셈이 아닌 연산의 FLOP을 줄여 학습 중 하드웨어 활용률을 높임 - 하삼각 행렬의 역행렬은 가우스 소거법의 전진 대입을 이용해 행 단위로 계산함 - 상태 갱신은 청크 단위 행렬 형태로 수행하고, 출력 단계에서는 청크 간 순환 처리와 청크 내부 병렬 처리를 결합함 - 청크 내부 계산을 행렬 곱셈 중심으로 구성해 **Tensor Core** 처리량을 활용함 ### 일반 DPLR보다 줄어든 연산량 - KDA와 일반화된 DPLR은 모두 세밀한 감쇠를 지원해 표현 용량 측면에서 대응함 - 세밀한 감쇠는 청크 내부 나눗셈에서 수치 정밀도 문제를 일으킬 수 있음 - GLA는 로그 영역 계산과 완전 정밀도의 2차 청킹을 사용하지만, 반정밀도 행렬 곱셈 활용이 제한돼 연산자 속도가 낮아짐 - KDA는 DPLR 전이의 두 변수를 모두 키 `k`에 결합함 - 2차 청크 행렬 계산을 4개에서 2개로 줄임 - 추가 행렬 곱셈 3개를 제거함 - 입력 길이별 커널 측정에서 KDA의 **연산자 효율은 일반 DPLR보다 약 100% 향상**됨 ### Kimi Linear 모델 구성 - 모델 백본은 Moonlight를 따르며, 토큰 혼합 계층 뒤에 MoE 채널 혼합 계층을 배치함 - 각 KDA 헤드의 쿼리·키·값은 ShortConv와 Swish를 거쳐 계산됨 - 쿼리와 키에는 고윳값 안정성을 위한 **L2 정규화**가 추가됨 - 키와 값의 헤드 차원은 모든 실험에서 128로 설정됨 - 채널별 감쇠 게이트는 헤드 차원과 같은 랭크의 저랭크 투영으로 매개변수화되며, GDN·Mamba와 유사한 감쇠 함수를 사용함 - 출력 투영 전에는 헤드별 RMSNorm과 데이터 의존적 출력 게이트를 적용함 - 출력 게이트도 저랭크로 구성해 전체 랭크 게이트와 비슷한 성능을 유지하면서 공정한 파라미터 비교를 지원함 - 이 게이트는 **Attention Sink**를 완화함 ### KDA와 MLA의 3:1 하이브리드 - 순수 선형 어텐션의 장기 문맥 검색 한계를 보완하기 위해 KDA 계층 사이에 전체 전역 어텐션인 **Full MLA** 계층을 배치함 - 하나의 계층 안에서 헤드를 혼합하는 대신 전체 계층을 번갈아 배치함 - 계층 단위 구성은 인프라가 단순하고 학습 안정성이 높음 - 실험에서는 KDA 3개 다음 MLA 1개를 반복하는 **3:1 비율**이 품질과 처리량 사이에서 가장 좋은 균형을 제공함 - 장문 생성에서는 전체 어텐션 계층만 KV 캐시를 유지하므로 메모리와 KV 캐시 사용량을 최대 75% 줄이면서 전역 정보 흐름을 보존함 ### NoPE 적용과 평가 결과 - 모든 MLA 계층에는 위치 인코딩을 사용하지 않는 **NoPE**를 적용하고, 위치 정보와 최신성 편향은 KDA가 담당함 - KDA는 짧은 컨볼루션이나 슬라이딩 윈도 어텐션 같은 보조 위치 인식 구성요소와 유사하거나 더 강한 역할을 수행함 - NoPE를 사용하면 MLA를 추론 시 효율적인 순수 Multi-Query Attention(MQA)으로 변환할 수 있음 - RoPE의 주파수 기반 조정이나 YaRN 같은 기법이 필요하지 않아 장기 문맥 학습이 단순해짐 - 동일한 방식으로 1.4T 토큰을 학습한 비교에서 Kimi Linear는 다음 결과를 기록함 - MMLU-Pro 4K에서 **51.0점**으로 MLA 47.2점과 GDN-H 47.9점을 앞섬 - RULER 128K에서 84.3점과 3.98배 가속을 달성해 MLA 81.3점과 GDN-H 80.5점을 넘음 - 1M 토큰에서 출력 토큰당 시간(TPOT)은 1.84ms로, MLA의 11.48ms보다 **6.3배 빨라짐** - 긴 시퀀스에서도 낮은 TPOT를 유지해 더 큰 배치를 사용할 수 있음 - 사전 학습 모델은 활성 파라미터 3B, 전체 파라미터 48B이며 단기 문맥, 장기 문맥, 강화학습식 사후 학습 과제에서 전체 MLA를 일관되게 앞섬 - [KDA 커널](https://github.com/fla-org/flash-linear-attention/tree/main/fla/ops/kda), vLLM 통합, [Kimi-Linear-48B-A3B-Instruct 체크포인트](https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct)가 공개됨 - 기존 전체 어텐션 파이프라인의 캐시 또는 스케줄링 인터페이스를 수정하지 않고 교체할 수 있음 ## Comments ### Comment 62559 - Author: neo - Created: 2026-07-29T11:33:25+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=49082022) - 최근 공개된 **Kimi K3 논문**을 보면 여기서 다룬 Kimi Linear를 대규모로 확장하고, 네이티브 비전과 강화학습 개선 등을 추가한 구조임 [https://arxiv.org/abs/2607.24653]() - 최첨단 모델에서 보이는 지능이 정말 아키텍처를 확장할 때만 나타나는 **창발 현상**인지 궁금함 같은 구조의 100만 매개변수 모델은 기본 퍼즐도 못 풀다가 1조 매개변수 모델은 야코비안 추측의 반례까지 만들어내는 게 직관에 어긋나 보임. 단순 정렬 알고리즘에 연산을 더 준다고 퀵정렬을 이기지는 못하는데, 현대 LLM 연구는 같은 알고리즘과 구조를 계속 키우며 해답이 나오길 기대하는 경쟁처럼 보임 - 이는 머신러닝에서 **쓰라린 교훈(The Bitter Lesson)** 으로 잘 알려진 현상임. 계산량이 크게 늘어나도 계속 확장되는 범용 방법의 힘을 배워야 하며, 그런 방법은 탐색과 학습이라는 내용임 짧은 원문도 읽어볼 만함: [http://www.incompleteideas.net/IncIdeas/BitterLesson.html]() - 요즘은 이 분야를 떠났고 전공도 LLM보다 강화학습에 가깝지만, 결국 **의미와 지능은 내부 표현에 담긴다**고 봄. 작은 모델은 입력을 의미와 출력으로 연결하는 내부 매핑을 처음부터 학습할 용량이 부족하거나, 단순 정렬처럼 이론상 가능해도 현실적으로 감당하기 어려운 시간이 필요할 수 있음 큰 모델은 그 내부 표현 공간에 발판을 마련하기 쉬우며, 최적화가 진행된 뒤에는 가중치 대부분이 별일을 하지 않을 수도 있음. 이 공간을 학습하는 데 필요한 표현력은 아직 명확하지 않지만 지금까지는 수십억 매개변수가 필요한 듯함 더 흥미로운 질문은 모델이 데이터에 얼마나 불변적이어야 하느냐임. 수학적 추론과 프로그래밍이 전반적인 성능을 크게 높인 이유는 넓은 작업군에서 반복 가능한 **기술**이기 때문이라고 봄. 언어나 작업에 구애받지 않는 프로그래밍 논리를 집중적으로 학습시키는 것이 더 작은 모델로 가는 길일 수 있음 - **모델 규모 확대**는 지능을 높이는 가장 일관되고 신뢰할 만한 방법 중 하나임. AI 학습은 알고리즘으로 다른 알고리즘을 계산적으로 찾고 다듬는 과정이며, 규모를 키우면 목표에 맞는 더 나은 알고리즘을 탐색할 자원이 늘어남 비유하면 작은 모델은 용량과 학습 신호의 제약 때문에 내부적으로 버블 정렬 수준에 머물지만, 큰 모델은 더 깊이 탐색해 퀵정렬에 가까운 방식을 찾을 수 있음 지능은 이분법적이지 않으며, 10억 매개변수와 10조 매개변수 모델 모두 어느 정도의 지능을 가짐. 전자는 통계적 규칙성에 지나치게 의존해 무시하기 쉽고, 후자는 미해결 추측의 새로운 반례를 찾을 만큼 발전했을 뿐임. 둘 사이도 갑작스러운 도약보다는 작은 향상이 쌓여 눈사태가 되는 형태에 가까움 수학 능력 같은 구체적 성과는 급격히 뛰는 것처럼 보여도, 그 밑에는 실수를 줄이고 실수에서 회복하는 **범용 능력**이 점진적으로 쌓여 있음. 이런 능력이 충분히 좋아지면 전혀 새로운 유형의 논리 문제도 풀리기 시작함 - 딥러닝 이론 관점에서 보면 지능은 주로 **규모 확장**에서 오며, 잘 설계된 모델·최적화기 조합이 단순성을 향한 강한 암묵적 편향을 가질 때 모델 크기에 따라 성능이 계속 향상될 수 있음 Marcus Hutter 연구실은 이를 솔로모노프 귀납법으로 표현해 이 편향이 보편적으로 효과적임을 보였음. 효과적인 편향은 차원의 저주를 역으로 활용해, 데이터가 많을수록 더 나은 답을 얻는 것과 비슷하게 큰 모델에서 성능을 계속 높일 수 있음 다만 이런 특성을 보이는 모델 부류는 극도로 좁으며, 운 좋게 그 지점에 도달한 것에 가까움. 일반적인 통계 원칙에서는 여전히 이런 동작을 대체로 기대하지 말라고 가르치는 이유임 - 인간이 기본 문제와 매우 어려운 문제로 구분하는 것들이 절대적인 척도에서는 **서로 매우 가까울 수 있음**. 차이는 주로 문제를 풀 수 있는 인간의 비율인데, 인간 능력의 하한조차 상당히 높음. 대다수 인간에게 기본적인 문제를 푸는 동물은 드물지만 복잡한 행동과 학습이 가능하며, 뉴런 규모도 인간과 터무니없이 다르지는 않음 100만에서 1조 매개변수로의 증가는 **100만 배 확장**임. 인간 뇌를 각 방향으로 1% 크기, 즉 수 mm 수준까지 줄이는 것과 비슷함 - Kimi Linear로 내부 모델을 만들기 시작했는데 이후 나온 **Gated Deltanet 2**가 표현력 측면에서 발전형처럼 보였고, 자체 시험에서도 실제로 더 나았음 [https://arxiv.org/abs/2605.22791]() - 읽어보니 **LSTM을 다시 구현한 것**처럼 느껴짐 - 연구를 위해 **KDA 커널과 vLLM 구현**을 오픈소스로 공개하고, 사전 학습 및 지시 튜닝 모델 체크포인트까지 배포한 점이 훌륭함 - 저장소는 이것으로 보임: [https://github.com/MoonshotAI/Kimi-Linear]() - Kimi의 성공을 **증류 공격**으로만 믿고 싶다면 이 연구는 무시하면 됨 - 이제는 이것을 **증류 공격**이라고 부르는 것부터 그만두면 좋겠음 - 중국 연구소가 인상적인 혁신을 하고 있다는 사실과 증류로 이득을 얻었을 가능성은 양립함. 어느 쪽이 얼마나 기여했는지는 모르지만, 둘 중 하나만 참이어야 한다는 건 **거짓 양자택일**임 - 증류을 비난하는 건 카지노가 **카드 카운팅**을 비난하는 것처럼 들림 - 미국이 AI 경쟁에서 이기길 바라지만, 오늘날의 발명 대부분도 과거 지식의 **증류**가 아닌지 이해하기 어려움. Anthropic은 자신들이 가져온 데이터를 영업비밀이라고 주장하는 것인지 궁금함 - 최첨단 모델은 한 가지 요소만으로 만들 수 없음. 이것은 점진적 개선일 뿐 모델 성공 전체를 설명하지 못하며, 증류에 대한 입장과 무관하게 **학습 데이터셋**이 엄청나게 중요함 - 같은 크기의 완전 어텐션 모델과 비교했을 때 **장문 맥락 검색**, 특히 needle-in-a-haystack이나 RULER 성능이 어떤지 궁금함. 효율 향상은 훌륭하지만 선형 어텐션 혼합 모델은 대개 이 부분에서 무너짐 - 이런 **비표준 Transformer**가 널리 쓰이기 시작하면 Etched 같은 회사는 곤란해지는지 궁금함 - 이 논문은 **2025년 자료**이며 이미 9개월이 지났고, 그사이 주요 모델이 새로 출시됐음 - K3에 관해서는 이 논문을 읽는 편이 나음: [https://arxiv.org/abs/2607.24653]() K3 논문의 핵심 기여는 **Stable LatentMoE**임. 다른 일부 모델처럼 계층 사이에 전달되는 데이터를 압축하므로 라우터에 특정 조건이 요구되며, K3는 더 균형 잡힌 전문가 선택 전략으로 성능을 높임 - 당시에는 충분히 논의되지 않았음: [https://news.ycombinator.com/item?id=45766937]() - 새 **Kimi K3**에 KDA 계층 69개와 Gated MLA 계층 24개가 들어가서 다시 올린 것으로 보임. 이전 대형 Kimi 모델은 MLA 계층만 사용했던 것으로 알고 있음