# Kimi-K3 기술 보고서 [PDF] > Clean Markdown view of GeekNews topic #31898. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=31898](https://news.hada.io/topic?id=31898) - GeekNews Markdown: [https://news.hada.io/topic/31898.md](https://news.hada.io/topic/31898.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-07-28T10:07:03+09:00 - Updated: 2026-07-28T10:07:03+09:00 - Original source: [github.com/MoonshotAI](https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf) - Points: 1 - Comments: 1 ## Topic Body _No topic body._ ## Comments ### Comment 62502 - Author: neo - Created: 2026-07-28T10:07:04+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=49070985) - 월 추론비로 수백만 달러를 쓰는 대기업이라면 약 **600만 달러짜리 GB300 랙**을 직접 구매할 만함 20.7TB 메모리 중 MXFP4 모델 전체를 올리는 데 10%도 필요하지 않고, 총 HBM 대역폭은 576TB/s라 평균 10만 토큰 문맥의 에이전트 작업 6,000개 이상을 약 30토큰/s로 병렬 실행할 수 있음 연간 감가상각과 전기료를 150만 달러, 평균 가동률을 50%로 잡으면 출력 토큰 100만 개당 0.6달러 미만이며 데이터도 사내에 남고 호스팅 서비스보다 10배 이상 저렴해짐 개방형 가중치 모델이 계속 발전하고 AI가 지속될 것이라 믿는 회사에는 **랙 직접 구매**를 결정할 확실한 근거가 처음 생긴 셈임 - **10만7천 달러 서버**에서 Kimi 2.8을 실행해 대부분의 작업에서 초당 약 5만 토큰 이상을 처리하고 있음 이미 지난해 Claude와 Gemini에 지출했던 토큰 비용보다 더 많이 절약함 - 운영을 맡을 DevOps 인력 2~3명을 고용하면 **40만~70만 달러**가 추가되고, 장애와 유지보수도 모두 회사 책임이 됨 그래도 비공개여야 하는 데이터에는 호스팅 LLM을 신뢰하지 않음 - **액체 냉각과 초고밀도 전력 설비**를 갖춘 공간도 필요하므로 일반적인 코로케이션 시설이나 사내 서버실로는 감당하기 어려움 - 600만 달러짜리 랙과 기반 시설을 살 수 있는 회사라면 적용될 **상업용 라이선스 조건**까지 고려해야 해서 계산이 단순하지 않음 - 모델과 함께 여러 **오픈소스 기반 시설**도 공개함 [https://github.com/MoonshotAI/MoonEP]() [https://github.com/kvcache-ai/AgentEnv]() [https://github.com/MoonshotAI/FlashKDA]() 개방형 소스와 가중치 모델을 AI 발전을 늦추는 행위로 보는 건 납득하기 어려움 - 오히려 **발전을 늦추는 행위**라고 봤음 다른 연구소가 따라잡을 수 있는 건 최첨단 연구소의 모델을 증류하면서 그 연구소가 다음 세대에 재투자할 수익 일부를 빼앗기 때문임 완전한 가속을 원한다면 양대 연구소를 국유화하고 재귀적 자기개선(RSI)에 도달할 때까지 Manhattan Project처럼 폐쇄해야 한다고 봤지만, 답글의 반론을 보고 관점이 크게 바뀌었음 - Kimi-K3 라이선스는 [https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE]()에서 확인할 수 있음 연속된 12개월 동안 계열사 합산 매출이 **2천만 달러를 넘는 Model as a Service 사업자**는 상업적 사용 전에 Moonshot AI와 별도 계약을 체결해야 함 기존 조건에는 월간 활성 사용자 1억 명 이상이거나 상업 제품 매출이 2천만 달러를 넘으면 Kimi 이름을 표시해야 한다는 조항도 있음 - Kimi 2.6도 같은 식의 라이선스를 사용했으며 [https://huggingface.co/moonshotai/Kimi-K2.6/blob/main/LICENS...]() K2까지 거슬러 올라가는 것으로 보임 [2025년 공개 모델]()은 깔끔한 MIT 라이선스였지만, 2026년 1월 moonshotai/Kimi-K2-Thinking부터 **수정된 MIT 라이선스**를 쓰기 시작함 - 애초에 이 라이선스가 무엇에 적용되는지 의문임 **모델 가중치에 저작권**이 성립하는지도 불분명함 - 미국에서는 기계학습 모델의 가중치가 확률적 경사 하강법, 기댓값 최대화, 유전 알고리즘 같은 **자동 최적화 과정의 산물**이므로 저작권 대상이 아니라는 해석이 가능함 아직 법정에서 완전히 검증되지는 않았고 소송 비용도 크므로 고용주는 대개 안전하게 라이선스를 준수하려 할 것임 Thaler v. Perlmutter는 저작권에 인간 저작자가 필요하다고 확인했으며, 미국 저작권청 지침도 인간의 창의적 개입 없이 기계가 자동 생성한 저작물은 등록할 수 없다고 명시함 이어지는 조항은 수학 원리, 공식, 알고리즘, 방정식도 저작권 대상에서 제외하므로 모델을 알고리즘으로 본다면 결론은 비교적 명확함 [1] [https://media.cadc.uscourts.gov/opinions/docs/2025/03/23-523...]() [2] [https://www.copyright.gov/comp3/chap300/ch300-copyrightable-...]() - 다운로드할 수 있다는 점은 낫지만, 이 조건이라면 진정한 **개방형 가중치나 오픈소스**라고 부르기 어려워 아쉬움 - 라이선스 위반자를 어떻게 찾아내 **소송 대상**으로 삼을지도 의문임 - 에이전트가 지식 집약 분야와 코딩 영역을 웹 규모로 탐색하면서 지속적으로 확장하는 **자기 진화형 계층적 지식 그래프**라는 접근이 흥미로움 - 활성화 함수가 다시 tanh로 돌아온 걸 보면 기술의 유행이 순환하는 듯함 - 논문 6쪽에 따르면 tanh를 그대로 쓰는 게 아니라 `f_gate(b,x) = b * tanh(x / b) * sigmoid(x)`와 `f_up(b,x) = b * tanh(x / b)`를 사용함 그래프상으로는 x가 약 5보다 클 때 표현력이 나은 **GLU의 장점**과 0 직전 값이 솟는 **SwiGLU의 장점**을 함께 얻으려는 설계처럼 보임 - **지식 그래프 기반 작업 합성**은 다양한 작업을 어떻게 빠짐없이 포괄할지라는 오랜 문제에 잘 맞는 접근임 새로운 지식이 생성되는 속도와 인간적·기계적 생성 방식에 관한 이론 연구로도 이어질 수 있어 보임 - 자체 에이전트 작업에 맞춰 미세 조정하려면 **LoRA+DPO, GRPO** 중 무엇이 현재 가장 나은지 궁금함 - 우선 **LoRA+SFT**가 적합하지만 모델이 커서 비용 부담이 상당할 것임 제공업체의 미세 조정 API를 기다리는 편이 낫고, 처음부터 강화학습이나 DPO 같은 오프폴리시 유사 강화학습으로 갈 필요는 없어 보임 - **다중 교사 온폴리시 증류**에서 교사 모델이 무엇인지 궁금함 수학·코딩처럼 검증 가능한 영역은 이해되지만 생물학까지 포함한 것을 보면 더 큰 모델에서 증류하는 구조인지 의문임 - [https://thinkingmachines.ai/blog/on-policy-distillation/]()을 인용하고 있음 교사 모델이 문제를 푸는 학생 모델의 각 토큰을 매 단계의 생성 확률로 채점하고, 이를 보상이나 손실로 적용해 강화학습하는 증류 방식으로 이해됨 다중 교사는 여러 모델에서 증류한다는 뜻으로 보이며 최첨단 비공개 모델도 포함될 수 있음 다만 로그 확률이 필요한데 OpenAI API는 이를 허용하는 반면 Anthropic은 제공하지 않아, 외부에서 추정하는 방법이 있을 수도 있음 이 방식은 생물학을 포함해 교사가 아는 어떤 분야에도 적용 가능함 - 교사는 다른 모델들을 뜻함 - 여러 제공업체의 **추론 가격이 모두 같은 이유**가 Moonshot과의 라이선스 계약 때문인지 궁금함 - Kimi와 경쟁할 **미국산 개방형 모델**을 만들려면 무엇이 필요한지 궁금함 - 미국 대형 연구소의 최근 대규모 공개 모델은 약 1년 전인 2025년 여름의 GPT-OSS-120b가 마지막인 듯함 자발적으로 나오기는 어려워 보여 어떤 형태로든 공개를 압박해야 할 것 같음 최근 Gemma가 최소 100B급으로 나오길 기대했지만 Google은 그 규모의 모델을 내부에만 보유하는 듯함 - MSL이나 SpaceXAI가 차기 대형 모델 중 하나를 **오픈소스로 공개할 가능성**이 높아 보임 둘 다 오픈소스에 우호적이고 미국의 Kimi 자리를 놓고 경쟁하게 될 것임 - 중국이 단순히 모델을 증류해 2주 만에 복제한다는 통념이 사실이라면 미국도 **2주 안에 복제 모델**을 내놓을 수 있어야 함 - Inkling도 대략 경쟁 가능한 범위에 있음