Kimi K3 아키텍처 개요와 설계 노트

 (sebastianraschka.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 지난해 공개된 Kimi Linear를 48B에서 2.8T로 확장한 프로덕션 모델로, 현재 공개 가중치 모델 가운데 규모가 가장 큼
  • 새로 도입한 LatentMoE는 대형 선형 계층을 다운 프로젝션해 압축하고, 전체 구조는 일반 MoE와 어텐션을 추론 효율 중심 구성요소로 대체함
  • 어텐션 잔차(attention residuals) 는 계층 간 잔차를 어텐션 점수 기반 가중치로 연결해 검증 손실과 다운스트림 성능을 일관되게 소폭 개선함
  • 어텐션 잔차로 훈련 비용은 약 4%, 추론 비용은 약 2% 늘어나며, 모든 RoPE 계층을 제거하고 전체에 NoPE를 적용함
  • 네이티브 멀티모달 지원까지 추가해, Kimi Linear의 대규모 확장과 추론 효율·잔차 경로 개선을 함께 추구함

Kimi Linear에서 2.8T로 확장

  • Kimi K3는 Kimi Linear를 48B에서 2.8T로 확장한 프로덕션 버전이며, 현재 공개 가중치 모델 중 가장 큰 규모임
  • Kimi Linear 대비 새로 추가된 LatentMoE는 Nemotron 3 Ultra의 방식과 본질적으로 같음
  • Nemotron 3와 DeepSeek V4 등에서 나타난 흐름처럼 추론 효율 개선에 초점을 맞춤
    • 일반 MoE를 LatentMoE로 대체함
    • 일반 어텐션 대신 다중 헤드 잠재 어텐션과 Kimi Delta Attention을 사용함

잔차 경로와 위치 정보

  • 어텐션 잔차는 효율 최적화가 아닌 잔차 경로 개선을 위한 구성요소로, Kimi Linear에도 이미 적용됐음
    • DeepSeek V4의 mHC(manifold-constrained Hyper-Connections)가 잔차 경로를 넓히는 것과 달리, 어텐션 잔차는 계층 사이의 잔차를 연결함
    • 각 잔차의 중요도나 기여도를 나타내는 어텐션 점수를 연결 가중치로 사용함
    • 기술 보고서 기준으로 검증 손실과 다운스트림 성능이 일관되게 소폭 개선되지만, 훈련 비용은 약 4%, 추론 비용은 약 2% 증가함
  • 모든 RoPE 계층을 제거하고 NoPE, 즉 위치 임베딩 없음을 전체 계층에 적용함
    • 최근 다른 아키텍처는 슬라이딩 윈도 어텐션 같은 로컬 어텐션에 RoPE를, 전역 계층에 NoPE를 사용하는 경향이 있었음
    • NoPE만 사용한 기존 아키텍처도 있지만, Kimi K3는 확인된 범위에서 이를 전면 적용한 최초의 프런티어급 모델임

네이티브 멀티모달 지원

  • Kimi K3에는 네이티브 멀티모달 지원도 추가됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 서구 연구소 수장들이 Kimi를 단순한 증류 공격의 산물로 몰아가는 것과 달리, 실제로는 새롭고 독창적인 접근법을 도입하고 있음

  • Sebastian Raschka는 뛰어난 대규모 언어 모델 연구자이자 저자이며, 그의 Substack을 강력히 추천함

    • 전에는 몰랐지만, 핵심을 곧바로 짚으면서도 이해하기 쉽게 쓴다는 점에 감탄했음
    • 대충 생성한 AI 요약이 넘치는 분야에서 보기 드문 보석 같아 RSS 피드에 추가했음

  • “흥미롭게도 Kimi K3는 모든 RoPE 계층을 없애고, 대신 모든 곳에서 NoPE(No Positional Embeddings) 를 사용한다”고 함
    이게 작동한다는 사실 자체가 놀라움. 위치 정보가 없다면 토큰 수프가 되지 않는지, 두 번째 토큰이 임베딩 공간에 무언가를 누적하는 법을 학습하는 것만으로 자신이 두 번째임을 알아낼 만큼 어텐션이 정밀한지 궁금함

    • 인과 마스킹을 통해 모델이 암묵적인 위치 임베딩을 학습할 수 있음. Transformer 블록이 순열 불변이라는 통념은 사실이 아님
    • 디코더 전용 인과 Transformer에는 위치 임베딩이 반드시 필요하지 않지만, 원래 Transformer 논문의 인코더처럼 비인과 모델에는 확실히 필요함
      누적이라는 직관도 적절함. 어텐션 헤드 일부가 잔차 스트림의 같은 영역에 계속 값을 기록하면, 입력 토큰이 늘어날수록 어텐션 합산으로 값이 누적되어 별도 위치 인코딩 없이도 일종의 인덱스로 기능할 수 있음
    • 선형 계층은 FIR 필터 같은 감쇠를 사용해 자연스럽게 상대적 위치를 제공함. 그러면 완전 어텐션 계층은 거리에 관계없이 개념끼리 연결하는 데 집중할 수 있음
    • 이런 하이브리드 어텐션 모델에서는 적어도 상태 공간 모델(SSM) 계층이 순환 구조를 통해 상대적 위치 임베딩을 내재하고 있을 것임

  • 모든 곳에서 NoPE를 쓴 점이 흥미로움. 다른 모델들은 대개 로컬 계층에 RoPE를 남겨두는데, 여기서는 Kimi Delta 같은 선형 어텐션 계층이 조용히 위치 처리를 맡아 이를 생략할 수 있었던 듯함. 최첨단 규모에서도 유지될지 궁금함

    • 이름과 달리 Kimi Delta Attention(KDA) 은 일반적인 의미의 어텐션이라기보다, 학습 시 효율적으로 병렬화할 수 있는 RNN에 가까움. 작은 편집 가능 어텐션 메모리처럼 동작하는 은닉 상태를 가진 RNN인 Gated DeltaNet을 약간 수정한 구조임
      RNN과 비슷하므로 XYZ에서 X, Y, Z의 순서를 본질적으로 인식함. 기본 Transformer는 순서 없는 집합을 처리하므로 항목 간 위치를 별도로 알려줘야 함
      어텐션 계층마다 KDA 계층이 3개 있고 첫 어텐션 계층 전에도 3개가 있으므로, 모든 토큰이 최초의 실제 어텐션 계층에 도달하기 전에 자신의 위치 정보를 학습할 수 있음
      RoPE는 정보를 일부 훼손하므로 이렇게 생략할 수 있으면 유리함. Gemma-4도 전역 어텐션 계층 하나당 슬라이딩 윈도 어텐션(SWA) 계층 다섯 개를 두는 비슷한 5:1 구조임. SWA는 저렴하고 성능이 낮지만 지역 정보를 처리하며 강력한 전역 계층 사이를 채우고, 이 모델에서는 KDA가 같은 역할을 함
      Gemma에서는 실제 어텐션인 SWA에만 RoPE가 필요하고 전역 어텐션에서는 생략함. KDA는 어텐션이 아니므로 위치 임베딩이 필요하지 않음
      이보다 얼마나 더 최첨단 규모여야 하는지는 모르겠지만, 더 큰 규모에서도 작동하지 않을 이유가 없음. 매개변수가 많아질수록 KDA 계층이 위치 정보를 전달하기는 오히려 쉬워짐
    • Kimi K3는 벤치마크상 Opus와 Fable과 비슷한 범위인데, 이보다 더 큰 규모가 최첨단인지 의문임. 모두 2~4조 매개변수 범위이고 주요 차이는 학습 품질과 아키텍처일 것으로 예상함
    • 다소 이상한 부작용도 있음. 사용해 본 제공업체들은 KV 캐시를 최신 입력 프롬프트까지만 저장하지 않고 1,024토큰 고정 증분 블록으로 구현했음. 그 결과 추론마다 캐시 미스 입력 토큰이 최대 1,023개까지 추가됨
답변달기