Kimi K3와 펠리컨 벤치마크에서 여전히 배울 수 있는 것

 (simonwillison.net)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Moonshot AI가 공개한 Kimi K3는 2.8조 개 매개변수를 갖춘 자사 최고 성능 모델로, 웹사이트와 API에서 제공되며 오픈 가중치는 2026년 7월 27일까지 공개될 예정임
  • 자체 벤치마크에서는 Claude Opus 4.8 max와 GPT-5.5 high를 대체로 앞섰지만 Claude Fable 5와 GPT-5.6 Sol에는 뒤졌으며, Arena.ai Frontend Code arena에서는 1위에 오름
  • 입력 100만 토큰당 $3, 출력 100만 토큰당 $15로 중국 AI 연구소 모델 중 가장 비싸며, 펠리컨 SVG 하나를 생성하는 데 추론 토큰 13,241개를 포함한 출력 16,658토큰과 $0.25가 들었음
  • 자전거 타는 펠리컨 SVG 테스트는 오늘날 중요한 에이전트 도구 호출이나 장시간 대화에서의 도구 운용 신뢰성을 측정하지 못해 모델 간 종합 성능 비교에는 적합하지 않음
  • 그래도 동일한 간단한 프롬프트를 직접 실행하면 API 접근성과 비용, 추론량, SVG 유효성, 공간 인식, 비전 성능, 제품군 내 세대별 개선을 빠르게 살펴볼 수 있음

Kimi K3 공개와 성능

  • Moonshot AI는 Kimi K3를 2.8조 개 매개변수를 갖춘 자사 최고 성능 모델로 공개함
    • 웹사이트와 API에서 이용할 수 있음
    • 오픈 가중치는 2026년 7월 27일까지 공개할 예정임
  • K3를 최초의 “오픈 3T급 모델”로 부르며, 2.8조 개를 3조 개로 반올림해 분류함
    • 기존 최대 규모로 거론된 DeepSeek V4 Pro는 1.6조 개 매개변수를 가짐
    • K3는 1조 개 매개변수인 Kimi K2.6보다 두 배 이상 큼
  • 자체 벤치마크에서는 Claude Opus 4.8 max와 GPT-5.5 high를 대체로 앞섰지만 Claude Fable 5와 GPT-5.6 Sol에는 뒤짐

외부 평가와 가격

  • Artificial Analysis 평가의 비공개 장기 지식 작업에서 종합 Elo 1,547을 기록함
    • Kimi K2.6보다 732점 높음
    • Claude Fable 5에 이어 2위임
  • 작업당 비용은 $0.94로 GPT-5.6 Sol의 $1.04와 비슷함
    • Claude Opus 4.8의 $1.80보다는 약 절반 수준임
    • 다른 오픈 가중치 모델보다는 비쌈
  • Artificial Analysis Intelligence Index에서 출력 토큰 사용량은 K2.6보다 21% 감소함
  • Arena.ai Frontend Code arena에서는 Claude Fable 5를 넘어 1위에 오름
  • API 가격은 입력 100만 토큰당 $3, 출력 100만 토큰당 $15임
    • Anthropic Claude Sonnet 제품군과 같은 수준임
    • 중국 AI 연구소가 공개한 모델 중 가장 비쌈
    • Kimi K2.6의 $0.95/$4에서 크게 인상됨

펠리컨 SVG 생성 실험

  • OpenRouter와 llm-openrouter 플러그인을 이용해 Generate an SVG of a pelican riding a bicycle 프롬프트를 실행함
  • 생성 과정에는 입력 95토큰과 출력 16,658토큰이 사용됨
    • 출력 중 13,241개가 추론 토큰이었음
    • 총비용은 $0.25였음
  • 이미지 입력도 지원하므로 생성된 SVG에 대체 텍스트 프롬프트를 적용함
    • 분석 결과는 빨간 스카프를 두른 흰 펠리컨과 빨간 자전거, 차선과 움직임 표시, 하늘·구름·태양·새·잔디·꽃을 정확히 포착함
    • 이미지 분석에는 입력 822토큰과 출력 243토큰, $0.006가 들었음

종합 벤치마크로서의 한계

  • 자전거 타는 펠리컨 SVG 테스트는 21개월 전 모델 비교의 어려움을 풍자하는 농담으로 시작했지만, 첫 1년 동안에는 실제 모델 품질과 의외로 높은 상관관계를 보였음
  • 현재는 그 상관관계가 대부분 사라짐
    • GPT-5.6과 Claude Fable 5가 만든 펠리컨은 GLM-5.2 결과보다 못함
    • 그러나 GLM-5.2를 Claude Fable급 모델로 보기는 어려움
  • 연구소가 이 테스트에 맞춰 모델을 훈련했다는 확신은 없음
    • 실제로 최적화했다면 훨씬 더 좋은 결과가 나와야 함
    • Gemini가 “동물이 탈것을 타는” 조합 전반에 최적화됐을 가능성은 남아 있음
  • 가장 큰 한계는 오늘날 모델에서 중요한 에이전트 도구 호출을 전혀 평가하지 못한다는 점임
    • 대화가 길어졌을 때 도구를 안정적으로 운용하는 능력도 측정하지 못함
    • 따라서 펠리컨 결과를 모델 간 종합 성능 비교에 사용해서는 안 됨

직접 실행하게 만드는 실험

  • 펠리컨 테스트는 새 모델을 실제로 호출하게 만드는 강제 장치로 기능함
    • 결과물이 나왔다는 것은 최소한 프롬프트 실행에 성공했다는 뜻임
    • 공식 API가 있으면 이를 사용함
    • 128GB M5 MacBook Pro에 들어갈 정도로 작은 오픈 가중치 모델은 llama.cpp, LM Studio, Ollama로 로컬 실행함
    • 새 API 키 없이 공식 API 프록시를 이용할 수 있어 OpenRouter를 자주 사용함
  • 대부분의 결과는 LLM CLI 도구로 생성하며, 이 과정에서 플러그인의 최신 모델 지원 여부도 확인하게 됨
  • 단일 SVG 프롬프트만으로도 모델의 비용·추론 방식·입력 처리 특성을 드러낼 수 있음

Kimi K3에서 드러난 특성

  • 현재 K3의 추론 노력 수준은 max 하나뿐이며, 응답 3,417토큰을 만드는 데 추론 토큰 13,241개를 소비함
    • 단순한 펠리컨 생성 비용이 $0.25에 달해 부담이 큼
  • 짧은 프롬프트가 입력 95토큰으로 계산된 점은 숨겨진 입력의 존재를 시사함
    • OpenAI 토크나이저는 같은 프롬프트를 10토큰으로 계산함
    • Anthropic 토큰 계산기는 Opus 4.6에서 10토큰, Opus 4.7에서 30토큰, Sonnet 5/Fable 5에서 25토큰으로 계산함
    • K3에 hi를 보냈을 때도 86토큰으로 집계돼 약 85토큰의 숨겨진 시스템 프롬프트가 있을 가능성이 있음
    • K3는 해당 시스템 프롬프트 공개 요청을 거부함
  • 생성된 SVG를 분석한 대체 텍스트 품질에서 비전 기능이 잘 작동함
  • K3에는 추론 노력 수준이 하나뿐이지만, 다른 모델에서는 동일 프롬프트를 여러 노력 수준으로 실행해 영향을 빠르게 비교할 수 있음

펠리컨 테스트가 여전히 알려주는 것

  • 새 모델에 프롬프트를 보내는 “Hello World” 실습으로 활용할 수 있음
  • 단순한 작업에 필요한 비용과 추론량을 대략 파악할 수 있음
  • 유효한 SVG 출력 여부와 기본적인 기하학·공간 인식을 살펴볼 수 있음
    • 특히 노트북에서 실행되는 소형 모델에서는 이 능력이 더 중요함
  • 같은 모델 제품군의 릴리스끼리는 여전히 비교할 가치가 있음
    • K3의 펠리컨은 Kimi 2.5보다 뚜렷하게 개선됨
  • 모델을 직접 사용해 봤다는 사실을 공유할 수 있으며, Hacker News에서는 새 모델 관련 댓글에 펠리컨 결과를 올리는 일이 하나의 전통처럼 자리 잡음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 펠리컨 벤치마크는 기술 업계 채용의 문제를 그대로 보여줌. 실제 업무와는 무관한데도 펠리컨을 그리게 한 뒤 역량을 평가하는 면접과 다를 바 없음

    • 펠리컨 그리기 10배 개발자 경력 9년이 없는 사람다운 발언임

  • “자전거 타는 펠리컨의 SVG를 생성하라”는 프롬프트가 입력 95토큰으로 계산된 이유는 사용자 지정 추론 강도를 설정할 때 시작 토큰 앞에 추론 강도용 프롬프트가 삽입되기 때문일 수 있음. DeepSeek-V4 최대 모드의 사례도 참고할 만함: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • 진지하게 SWE-bench-adversarial-pelican-gen을 제안함. SWE-bench와 비슷하지만 5번의 대화나 도구 호출마다 중단하고 임의의 동물 SVG를 만든 뒤 작업을 재개하게 하며, 도구 출력 곳곳에는 펠리컨 SVG 관련 주석도 끼워 넣는 방식임
    문맥이 80만 토큰에 도달하면 다시 펠리컨 SVG를 만들게 하고, 펠리컨 품질과 원래 작업의 완성도·효율을 함께 평가하면 됨. SVG 펠리컨의 습격 속에서도 문제를 해결할 수 있어야 진짜 실력임

    • Codex로 돌리면 아마 5달러 정도일 텐데, 왜 아무도 실행해 보고 싶어 하지 않는지 생각해 볼 만함

  • Simon의 결론처럼 이 벤치마크의 주된 용도는 어느 모델이 더 낫다고 단정하는 게 아니라 품질·비용·속도의 관계를 살펴보는 데 있음. 최근 Opus, Fable, Kimi를 간단히 비교해 보니 Kimi가 5배 저렴하지만 2배 느렸음
    https://9gpyw4uxr2.evvl.io/

    • 가운데 세 결과는 프롬프트가 요구한 것보다 더 많은 것을 만들어 내는 전형적인 Gemini/Google식 실패로 봄. K2.6도 순수 SVG가 아니라 HTML+CSS+SVG를 사용했으므로 경계선상 실패에 가까움
      웹사이트 오른쪽 위의 “Expires in 6 days”도 이상함. 고작 수 KB 데이터를 담은 페이지가 왜 만료되어야 하는지 알기 어려움

  • 블로그와 포럼, GitHub에 자전거 타는 펠리컨이 수백 개나 있는데도 Simon이 이것들이 학습 데이터에 없다고 믿는 것이 놀라움. 우리 회사 블로그는 Simon 사이트보다 트래픽이 1,000배 적지만 게시물이 6개월 뒤면 LLM에 알려져 있음

    • 기존 펠리컨 그림은 여전히 형편없음. 학습 데이터에 들어가도 더 나은 펠리컨 생성에는 도움이 안 되고, 오히려 성능을 떨어뜨릴 수 있음
    • Simon도 펠리컨이 학습 데이터에 포함됐을 가능성을 여러 번 인정했으며, 공개하지 않는 다른 테스트도 갖고 있음. 단지 펠리컨을 좋아할 뿐임
    • 펠리컨과 자전거가 각각 학습 데이터에 있어도 이 특정 벤치마크를 학습했다는 뜻은 아님
    • 자전거 타는 펠리컨 자체가 특별한 소재는 아님. 어떤 모델에든 지렁이와 울새의 권투처럼 아무 조합이나 SVG로 만들게 할 수 있고, 비전 모델 여부와 무관하게 더 똑똑한 모델일수록 결과가 좋아지는 강한 상관관계가 나타남
      처음에는 이 평가를 보고 황당했지만, 학습 데이터에 절대 없을 법한 조합들을 시험한 뒤 유효성을 확인했음
    • 작년에 학습 데이터가 고갈되고 있다던 뉴스 흐름과 그 주장이 얼마나 우스웠는지가 떠오름

  • 펠리컨 벤치마크에 대한 우리의 답은 MacBook SVG 벤치마크임: https://playcode.io/blog/macbook-svg-benchmark

    • Terra xhigh의 결과가 정말 좋음
    • Fable 5가 너무 오래 추론하다 그림을 끝내기도 전에 출력 예산을 소진했다는 대목이 웃김

  • 모델마다 펠리컨을 한 번만 생성하는 게 계속 마음에 걸림. 같은 모델도 실행할 때마다 다른 결과가 나오므로 어떤 결과를 골랐는지가 “이 모델이 더 낫다”는 판단에 영향을 줄 수 있음
    모델별로 8회 실행 결과를 나란히 보고 싶음. 비슷한 두 모델이라면 모델 간 차이만큼이나 개별 실행 간 편차도 클 것으로 봄

    • 예전에는 세 번 실행한 뒤 가장 좋은 결과를 골랐음. 언젠가는 같은 모델 계열의 LLM 심사자가 최선의 결과를 골라 다음 경쟁으로 보내도록 자동화하고 싶음
      이전에 ELO 점수 체계도 만들었음: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      벤치마크 자체는 조금 낡아 보이지만 결과 갤러리 수요가 많으니 다시 시간을 들일 만함

  • 격차가 줄고 있음. Kimi 3는 미국 모델보다 약 3개월 뒤처진 수준이며, 4월 말 출시된 GPT 5.5급 모델로 보임

  • 중국 연구소들이 훨씬 적을 수밖에 없는 연산 자원으로 3조 매개변수 모델을 어떻게 학습하는지 궁금함. 미국의 연산 자원 우위가 계속된다면 물리적으로 중국이 영원히 따라가기는 어렵겠지만, 지금까지는 잘 해내고 있음

    • 실제로는 유의미한 연산 자원 접근 제한이 없을 수도 있음. 중국 기업은 말레이시아처럼 수출 제한을 받지 않는 인접 국가의 GPU를 이용할 수 있고, ByteDance도 공개적으로 그렇게 했음: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Tencent도 일본을 통해 접근했다는 소문이 있음: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      싱가포르에서 사들여 밀수하는 방법도 있으며, AI 전용 칩은 고성능 CPU·GPU보다 상대적으로 설계와 생산이 쉬워 중국 자체 설계가 계속 뒤처진다고 볼 이유도 없음. 결국 같은 파운드리를 이용할 수 있음
    • Gamers Nexus가 중국에서 직접 취재한 좋은 영상이 있음: https://www.youtube.com/watch?v=1H3xQaf7BFI
      수출 제한 대상인 GB202 기반 5090과 RTX 6000 Pro Blackwell은 TSMC에서 제조된 뒤 중국에서 패키징·완성되므로 애초부터 허점이 큼. NVIDIA와 유통 파트너도 싱가포르 같은 국가에서는 별다른 확인 없이 판매하며, 개인 운반책이 직접 들고 들어가도 중국 세관은 중국 영토에서 미국 법을 집행할 이유가 없음
    • Huawei Ascend 칩은 4개월도 더 전에 DeepSeek v4 학습에 사용됐고, Huawei는 커널을 다른 중국 연구소들과 공유했음. 중국에는 자체 DDR5 파운드리도 있음
    • 매개변수 수가 같다고 모델이 동일한 것은 아니므로, 그 수치가 품질이나 연산 요구량을 나타내는 지표로 보이지 않음. 좋은 모델을 만드는 데는 단순히 매개변수 수를 늘리는 것 이상이 필요함
    • 중국이 아무도 몰랐던 막대한 석유 비축분을 방출해 세계 경제를 구했으니, 숨겨진 연산 자원이 많아도 놀랍지 않음

  • 펠리컨 품질과 전반적인 모델 품질이 따로 움직이는 점이 흥미로움. 일반 능력은 사전 학습에서 형성되므로 고품질 사전 학습이 더 좋은 펠리컨을 만들고, 강화학습은 펠리컨 품질에 거의 영향을 주지 않을 것으로 예상했음
    하지만 GLM 5.2가 GPT 5.6과 Claude Fable을 앞선 결과는 이 가설과 맞지 않음. GLM 5.2가 SVG 생성을 별도로 강화학습해 우수한 성능을 얻었을 가능성 정도만 떠오름

답변달기
GeekNews BeeBS 게시판 오픈! 자유로운 이야기와 소소한 일상을 함께 나눠보세요.