Kimi K3-256k

 (kimi.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Kimi K3-256k는 K3의 결과 품질을 256k 컨텍스트에서 유지하면서, 1M 컨텍스트의 k3보다 할당량을 약 절반만 소비하는 일상 코딩용 모델임
  • Kimi Code는 K3와 K2.7 Code를 4개 모델 ID로 제공하며, k3는 2.8T 파라미터와 최대 1M 컨텍스트를 지원하고 kimi-for-coding-highspeed는 약 5~6배 빠른 출력 대신 할당량을 3배 사용함
  • k3에서 k3-256k로 전환할 때 기존 컨텍스트가 256k를 넘거나 영상이 포함돼 있다면 먼저 compact를 실행해야 핵심 정보를 보존하면서 호환성을 유지할 수 있음
  • 모델이나 reasoning_effort를 바꾸면 기존 컨텍스트 캐시가 무효화돼 다시 프리필해야 하므로 사용량이 늘 수 있으며, 새 세션에서 전환하는 방식이 권장됨
  • 이용 가능한 모델과 컨텍스트는 요금제에 따라 달라지며, 권한을 초과하면 401이 반환됨. 서드파티 도구에서는 정확한 모델 ID와 컨텍스트 크기·추론 강도를 직접 설정해야 함

Kimi Code의 모델 구성

  • Kimi Code는 Kimi K3와 Kimi K2.7 Code를 4개 모델 ID로 제공함
    • k3: 2.8T 파라미터의 플래그십 코딩 모델로, 상위 요금제에서 최대 1M 컨텍스트를 지원함
    • k3-256k: Kimi K3의 256k 컨텍스트 버전으로, 소비량을 줄이는 데 초점을 맞춤
    • kimi-for-coding: 코드 완성과 일상적인 개발 작업에 적합한 Kimi K2.7 Code임
    • kimi-for-coding-highspeed: 같은 코딩 능력으로 약 5~6배 빠른 출력을 제공하는 K2.7 Code HighSpeed임
  • 모델별 사양과 이용 조건은 다음과 같음
    • k3
      • 일반 속도로 동작하며, 상위 회원에게 최대 1M 컨텍스트를 제공함
      • reasoning_effort는 low, high, max를 지원하고 기본값은 high임
      • Moderato 이상에서 이용할 수 있으며, 1M 컨텍스트는 Allegretto 이상에서 제공됨
      • 이미지와 영상을 입력할 수 있음
    • k3-256k
      • 일반 속도로 동작하고 컨텍스트는 256k로 고정됨
      • reasoning_effort는 low, high, max를 지원하며 기본값은 high임
      • Moderato 이상 회원이 이용할 수 있음
      • 이미지만 입력할 수 있고 영상은 지원하지 않음
    • kimi-for-coding
      • 일반 속도와 256k 컨텍스트를 제공하며 모든 회원이 이용할 수 있음
      • Thinking:ON으로 동작하고 이미지와 영상을 지원함
    • kimi-for-coding-highspeed
      • 256k 컨텍스트에서 약 6배 빠르게 출력하지만 할당량을 3배 사용함
      • Allegretto 이상에서 이용할 수 있으며 Thinking:ON, 이미지·영상 입력을 지원함

K3-256k의 용도와 모델 전환

  • k3-256k는 256k 컨텍스트 범위에서 k3와 같은 결과를 제공하면서, 1M 버전보다 할당량을 약 절반만 소비함
  • 일상적인 질의응답, 코드 완성, 일반적인 기능 개발, 단일 파일이나 소규모 파일 편집에 적합하지만 영상 입력은 지원하지 않음

  • K3에서 K3-256k로 전환

    • 현재 세션 컨텍스트가 256k를 넘으면 Kimi Code CLI와 Claude Code 같은 일부 도구가 자체적으로 compact를 수행함
    • 에이전트 도구마다 처리 방식이 다르므로 전환 전에 compact를 수동으로 한 번 실행해 컨텍스트를 256k 이내로 압축하는 편이 권장됨
    • 이를 통해 작업의 핵심 내용을 보존하면서 세션을 유지할 수 있음
    • 전환 후에는 할당량을 더 오래 사용할 수 있음
    • 대화 기록에 영상 파일이 있으면 k3-256k로 직접 전환할 수 없으므로 먼저 compact를 실행해야 함

  • K3-256k에서 K3로 전환

    • k3-256k가 256k 한도에 가까워 compact로 인한 정보 손실을 피하고 싶다면 k3 1M으로 직접 전환할 수 있음
    • 현재 버전에서는 256k에서 1M으로 전환해도 캐시에 영향을 주지 않음

캐시와 사용량 관리

  • 모델을 바꾸면 이전 모델에서 구축한 컨텍스트 캐시가 적중하지 않아 해당 컨텍스트를 다시 프리필해야 함
  • 이 때문에 전환 직후 사용량이 늘어난 것처럼 보일 수 있음. 새 모델을 쓸 때는 새 세션을 시작하는 편이 더 나은 결과와 낮은 소비량에 유리함

  • 추론 강도 전환 비용

    • reasoning_effort를 바꿔도 기존 컨텍스트 캐시가 무효화돼 다시 프리필해야 함
    • 작업에 맞는 추론 강도를 선택한 뒤 한 세션 안에서는 일관되게 유지하는 것이 권장됨
    • 다른 추론 강도가 실제로 필요하다면 긴 세션에서 반복 전환하지 말고 새 세션을 시작하는 편이 나음

요금제 권한과 401 오류

  • 올바른 모델 ID를 사용해도 요청한 기능이 요금제 권한을 넘으면 서버가 401을 반환함
    • K3 접근 권한 없음: Moderato 미만 요금제에서는 k3와 k3-256k를 호출할 수 없음
    • 1M 접근 권한 없음: Moderato에서 k3는 최대 256k까지 지원하며, 최대 1M은 Allegretto 이상에서 사용할 수 있음
    • k3-256k의 컨텍스트 한도는 요금제와 관계없이 256k로 고정됨
    • HighSpeed 접근 권한 없음: kimi-for-coding-highspeed는 Allegretto 이상이 필요함
  • 전체 오류 문구와 처리 방법은 Error Reference에서 확인할 수 있음

HighSpeed가 빠르게 느껴지지 않는 이유

  • HighSpeed 모델 ID는 정확히 kimi-for-coding-highspeed여야 함
    • 잘못 입력하면 오류 없이 표준 kimi-for-coding으로 대체돼 속도 향상이 나타나지 않음
  • HighSpeed는 모델 출력만 가속함
    • 파일 읽기·쓰기, 명령 호출과 스크립트 실행은 빨라지지 않음
    • 한 차례 작업에서 도구나 스크립트 실행 비중이 높다면 전체 속도 향상은 작게 느껴질 수 있음

클라이언트에서 모델 전환하기

  • 모델 ID를 바꾸면 컨텍스트 캐시가 무효화됨. 추가 토큰 소비를 피하고 최적의 사용 경험을 얻으려면 새 세션을 시작하는 것이 권장됨
  • 호출할 때는 모델 버전명이 아니라 다음 모델 ID 중 하나를 입력해야 함
    • k3
    • k3-256k
    • kimi-for-coding
    • kimi-for-coding-highspeed
  • Kimi K3나 K2.7 Code 같은 버전명을 입력하면 호출에 실패함
  • K3 또는 K2.7에서 Thinking을 끄면 요청이 K2.6으로 라우팅되므로, K3나 K2.7 Code를 사용하려면 Thinking을 켜야 함

  • 공식 클라이언트

    • Kimi Code CLI에서는 /model을 입력해 설정 변경 없이 모델을 바꿀 수 있음
    • 최신 모델이 목록에 없다면 /logout 후 /login으로 다시 로그인해야 함
    • Kimi Code for VS Code에서는 입력창의 드롭다운 메뉴에서 모델을 선택함
    • 모델이 표시되지 않으면 VS Code를 재시작하거나 확장을 다시 설치해야 함

서드파티 도구 설정

  • Kimi Code Console에서 API Key를 만든 뒤 도구에 Base URL과 모델 ID를 입력함
  • Kimi Code API는 OpenAI 호환 프로토콜과 Anthropic 호환 프로토콜을 모두 지원함
  • 도구별 설정 방법은 다음 문서에서 확인할 수 있음
    • Claude Code: Anthropic의 명령줄 코딩 도우미
    • OpenCode: 터미널 기반 코딩 에이전트
    • Codex: OpenAI의 코딩 에이전트

  • K3 컨텍스트 설정

    • 일부 서드파티 도구의 기본 컨텍스트는 K3의 최대치인 1M보다 작음
    • 최대 1M 컨텍스트를 사용하려면 context-window 필드를 1048576 으로 직접 설정해야 함

  • K3 추론 강도 매핑

    • K3는 low, high, max를 지원하며 도구가 보낸 값은 다음과 같이 매핑됨
    • null 또는 undefined: 기본값 high
    • 알 수 없는 다른 값: HTTP 400 오류
    • ultra, max, xhigh: max
    • high, medium: 권장 수준인 high
    • low, minimum, light: low
    • none: thinking.type이 비활성화됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Codex는 256k 컨텍스트를 아주 잘 활용함. 1M은 넉넉하지만 여전히 비싸고 기본값으로는 불필요해 보임

  • LLM은 빠르게 범용 상품이 되고 있으며 OpenAI 같은 미국 AI 연구소의 해자는 약해지고 있음. 결국 저렴한 토큰을 판매할 수 있는 하이퍼스케일러와 데이터센터 소유자가 승리할 가능성이 큼

    • 다른 제품을 많이 써보진 않았지만 Codex 하네스는 전환하기 어려울 만큼 매력적임. 이 정도 품질의 하네스를 제공하는 곳이 또 있는지 궁금함
    • 모델 하나하나에 막대한 자본과 복잡한 연구개발을 투입한 프런티어 AI 기업들에 깊이 감사함. 이 지점까지 오는 데 얼마나 큰 비용이 들었는지 벌써 잊기 쉬울 정도임

  • k3-256k가 출시됐으며 256k 컨텍스트 안에서는 동일한 결과를 제공함. k3 (1M)은 k3-256k보다 할당량을 약 두 배 소모함

  • 괜찮은 변화임. 보통 컨텍스트를 200k 이하로 유지하려고 함

    • 이 뉴스의 Reddit 스레드에서도 똑같은 문장이 최상위 댓글임
      https://www.reddit.com/r/kimi/s/BFa1TR9vNg
    • 작업 범위에 따라 다르지만 적정 지점은 500k 이하라고 봄. Claude에서는 50만 토큰이면 처음부터 현재까지의 모든 맥락을 유지하면서도 상당한 규모의 프로젝트를 구축할 수 있음
    • “256k면 누구에게나 충분해야 함”

  • 그렇다면 모든 사용자는 컨텍스트가 256k에 도달할 때까지 Kimi를 갑자기 절반 가격으로 쓰게 되는 것인지 궁금함. 사실이라면 엄청난 변화임

    • 별도 모델이므로 k3-256k를 쓰다가 256k에서 1M 모델로 전환하면 캐시가 무효화되어, 기존 256k 토큰도 1M 모델 가격으로 다시 지불할 것이라 생각했음
      하지만 이는 틀렸으며, 컨텍스트 한도에 가까워졌을 때 캐시 무효화 없이 1M 모델로 전환할 수 있음. 현재 버전에서는 k3-256k에서 k3 (1M)으로 바꿔도 캐시에 영향을 주지 않음
    • 그렇지는 않은 것으로 이해함. 컨텍스트 창이 작으면 시간이 지나며 누적되는 입력 토큰이 줄어 대체로 더 저렴하다는 의미로 보임

  • 이 글이 올라온 지 38분 됐고, 20분 전부터 Anthropic의 여러 서비스가 대규모 장애 상태로 표시되고 있음. 관련은 없겠지만 조금 웃겼음

  • 모델 자체는 같고 API 수준의 변경일 뿐인 것으로 보임

  • 일정 컨텍스트 길이를 넘으면 가격 단계가 바뀌는 OpenAI의 방식과 기능적으로 비슷함. 기준도 약 272k, 즉 2^18 또는 256k 부근임
    활성 컨텍스트가 커질수록 출력 토큰당 필요한 연산량과 읽어야 할 바이트가 늘어나므로 비용을 사용자에게 전가하는 건 합리적임. 다만 단계형 기준 대신 완만한 가격 곡선을 쓰지 않은 점은 의외임

    • 최대 시퀀스 길이에 따라 두 가지 인프라 구성을 운용할 가능성이 높으므로 단계형 기준은 놀랍지 않음
      짧은 컨텍스트 구성은 인스턴스당 프리필 전용 노드가 적고, 큰 KV 캐시를 지원할 필요가 없어 전체 노드 수도 줄일 수 있음. 분리형 추론을 사용하면 프리필과 디코딩에 배정할 연산 비율도 각각 조정 가능함

  • 이번 변경으로 인프라 부담이 줄기를 바람. 최근 모델들이 모두 눈에 띄게 둔해졌는데 지원팀은 대응하지 않고 있음. 요청의 상당 부분을 양자화 모델로 처리하고 있는 게 아닌지 의심됨

    • 근거 없는 음모론은 Reddit이면 몰라도 HN에 어울리지 않음

  • 양자화한 모델이 아니라 단지 컨텍스트 창만 256k로 줄인 것인지 궁금함

    • 256k 컨텍스트 창과 양자화 여부는 별개임. 외부에서 직접 확인하기 어려우므로 실제로 양자화됐을 가능성도 배제할 수 없음
답변달기