Bonsai 27B - 휴대폰에서 실행되는 27B급 모델

• 기존 27B 모델은 4비트로 줄여도 18GB에 달하지만, PrismML은 Qwen3.6 27B를 기반으로 추론·도구 호출·비전·컴퓨터 사용을 지원하는 Bonsai 27B를 iPhone의 메모리 한도에 맞춤
• 품질 중심의 Ternary 모델은 가중치당 1.71비트로 5.9GB, 용량 중심의 1-bit 모델은 1.125비트로 3.9GB이며, 언어 네트워크 전체에 저비트 표현을 적용함
• 사고 모드의 15개 벤치마크에서 Ternary 모델은 완전 정밀도 기준 성능의 95%, 1-bit 모델은 90% 를 유지했고 종합 점수는 각각 80.5점과 76.1점임
• NVIDIA GeForce RTX 5090에서 최대 163 tok/s, M5 Max에서 최대 87 tok/s를 기록하며 262K 토큰 문맥, 4비트 비전 타워, 추측 디코딩을 지원함
• 로컬 실행은 반복적인 에이전트 작업의 단계별 API 비용과 데이터 전송을 없애며, 민감한 작업은 기기에서 처리하고 어려운 단계만 클라우드로 보내는 하이브리드 배포를 가능하게 함

---

27B급 모델을 휴대폰에 넣는 방법

• 기존 27B 모델은 16비트 정밀도에서 약 54GB, 일반적인 4비트 빌드에서도 18GB를 차지해 휴대폰과 대부분의 노트북에 로컬로 배포하기 어려움
• Qwen3.6 27B 기반의 Bonsai 27B는 다단계 추론, 구조화된 도구 호출, 비전 작업과 함께 여러 단계에서 일관성을 유지하는 컴퓨터 사용 에이전트 루프를 지원함
• 두 가지 저비트 구성은 서로 다른 배포 환경을 겨냥함
  • Ternary Bonsai 27B는 {−1, 0, +1} 가중치와 FP16 그룹별 스케일링을 사용해 가중치당 실효 1.71비트, 5.9GB 크기를 달성함
  • 노트북급 품질을 목표로 하며 전체 추론·도구 호출·에이전트 기능을 제공함
  • 1-bit Bonsai 27B는 {−1, +1} 가중치와 같은 그룹별 스케일링을 사용해 가중치당 실효 1.125비트, 3.9GB 크기를 달성함
  • iPhone 17 Pro의 메모리 예산 안에 들어가는 휴대폰급 용량에 초점을 맞춤

종단 간 저비트·멀티모달 구성

• 저비트 표현은 임베딩, 어텐션, MLP, LM head를 포함한 언어 네트워크 전체에 적용되며, 일부 구간을 더 높은 정밀도로 우회하지 않음
• 두 모델 모두 멀티모달이며 비전 타워는 압축된 4비트 형식으로 제공돼 스크린샷·문서·카메라 입력을 기기에서 처리할 수 있음
• 최대 262K 토큰 문맥을 지원함
• 초안을 생성한 뒤 검증하는 무손실 가속 방식인 추측 디코딩을 사용할 수 있음
• 모델 가중치는 Apache 2.0 License로 제공됨

15개 벤치마크에서 유지한 성능

• 모델의 전체 추론 능력을 사용하는 사고 모드에서 지식, 추론, 수학, 코딩, 지시 이행, 도구 호출, 비전을 아우르는 15개 벤치마크를 평가함
• 완전 정밀도 Qwen3.6 27B의 종합 점수는 85.0점이며, Ternary Bonsai 27B는 80.5점, 1-bit Bonsai 27B는 76.1점을 기록함
  • Ternary 모델은 완전 정밀도 기준 성능의 95% 를 유지함
  • 1-bit 모델은 기준 성능의 90% 를 유지함
• 영역별 점수는 다음과 같음
  • 수학 — GSM8K, MATH-500, AIME25, AIME26: 완전 정밀도 95.3, Ternary 93.4, 1-bit 91.7
  • 코딩 — HumanEval+, MBPP+, LiveCodeBench: 완전 정밀도 88.7, Ternary 86.0, 1-bit 81.9
  • 에이전트·도구 호출 — BFCL v3, TauBench: 완전 정밀도 80.0, Ternary 74.0, 1-bit 66.0
  • 지시 이행 — IFEval, IFBench: 완전 정밀도 78.4, Ternary 71.8, 1-bit 65.8
  • 지식·STEM — MMLU-Redux, MuSR: 완전 정밀도 83.1, Ternary 77.0, 1-bit 73.4
  • 비전 — MMMU Pro, OCRBench: 완전 정밀도 72.6, Ternary 65.2, 1-bit 59.6
• 수학과 코딩은 성능 감소가 상대적으로 작고, Ternary 모델의 도구 호출 성능도 완전 정밀도에 가까운 수준을 유지함
• 같은 기반 모델에 적용한 가장 공격적인 일반 저비트 빌드는 1-bit Bonsai 27B보다 메모리를 2.5배 더 사용하면서도 더 낮은 점수를 기록함

기가바이트당 지능 밀도

• 1-bit Bonsai 27B는 완전 정밀도 2B 모델보다 작은 용량으로 27B급 성능을 제공함
• PrismML이 1-bit Bonsai 8B에서 도입한 지능 밀도 기준으로 1-bit Bonsai 27B는 GB당 0.53을 기록함
  • 완전 정밀도 기준보다 10배 이상 높음
  • 사용 가능한 최상위 저비트 대안보다 약 2.7배 높음
• 이 구분에서 모델의 절대 능력은 수행할 수 있는 작업을 결정하고, 지능 밀도는 그 작업을 실행할 수 있는 기기와 환경을 좌우함

지속형 에이전트 작업을 로컬로 옮기기

• AI 작업은 단일 응답에서 벗어나 실제 도구를 사용하는 비서, 무인 워크플로, 수십 개 문서를 종합하는 연구처럼 지속적인 작업으로 이동하고 있음
• 에이전트는 모델을 한 번이 아니라 수백 번 호출하며, 각 단계에서 문맥을 전달하고 구조화된 출력을 만든 뒤 다음 단계의 입력으로 사용함
• 클라우드 API는 여전히 많은 제품에 적합하지만, 에이전트 작업을 클라우드에서만 실행하면 구조적 제약이 생김
  • 모든 단계가 원격 요청으로 처리됨
  • 반복할 때마다 토큰 비용이 누적됨
  • 계획, 도구 호출, 중간 결과뿐 아니라 사용자의 개인 파일·화면·데이터까지 네트워크를 통과함
• 기기에서 충분한 능력의 모델을 실행하면 에이전트를 제품 내부에 둘 수 있음
  • 100단계 루프에서도 추가 모델 호출 비용이 발생하지 않음
  • 사용자 데이터가 기기를 떠나지 않음
  • 지속형 온디바이스 에이전트, 오프라인 비서, 로컬 비공개 데이터를 직접 처리하는 비서를 구현할 수 있음
• 민감하거나 프런티어급 성능이 필요 없는 작업은 로컬 모델로 보내고, 가장 어려운 단계만 클라우드 모델에 맡기는 하이브리드 아키텍처로 에이전트 시스템의 작업당 비용을 낮출 수 있음

실행 속도와 휴대폰 메모리 제약

• NVIDIA GeForce RTX 5090에서 측정한 최대 생성 속도는 다음과 같음
  • 1-bit 모델: 163 tok/s
  • Ternary 모델: 134 tok/s
• M5 Max에서 측정한 최대 생성 속도는 다음과 같음
  • 1-bit 모델: 87 tok/s
  • Ternary 모델: 58 tok/s
• 휴대폰 앱은 기기의 전체 메모리를 사용할 수 없으며, 12GB iPhone에서도 모델이 쓸 수 있는 메모리는 약 6GB임
• 이 예산에는 모델 가중치뿐 아니라 KV 캐시와 활성값도 들어가야 하므로 저장 파일 크기만 줄이는 것으로는 충분하지 않음
• 약 4GB인 1-bit Bonsai 27B는 작업에 필요한 여유 공간을 남기면서 이 메모리 한도를 충족함
• iPhone 17 Pro Max의 멀티모달 에이전트 데모는 캐시와 사전 입력된 이미지 문맥을 사용하는 데모 모드로 실행됨

지원 플랫폼과 배포 방식

• Apple 기기에서는 MLX를 통해 Mac, iPhone, iPad에서 네이티브로 실행함
• NVIDIA GPU에서는 CUDA를 사용함
• 두 플랫폼 모두 하이브리드 어텐션 아키텍처에 맞춰 제작한 사용자 정의 저비트 커널을 활용함
• 제한된 기간 동안 개발자가 모델을 시험할 수 있는 무료 개발자 프리뷰 API를 제공함
• 압축·평가·벤치마킹 과정의 전체 기술 세부 사항은 Bonsai 27B 백서에서 확인할 수 있음

더 큰 모델과 새로운 아키텍처

• Bonsai 27B는 사고, 멀티모달 이해, 비전, 도구 사용을 포함한 현대적 모델의 기능을 일반 사용자가 보유한 기기에서 실행할 수 있는 크기로 줄임
• 압축 방법론은 특정 아키텍처에 종속되지 않으며, PrismML은 더 큰 모델과 새로운 아키텍처를 개발 중임
• 지능 밀도가 높아질수록 고급 AI를 실행할 수 있는 기기·제품·환경의 범위가 휴대폰부터 단일 GPU 서버까지 넓어짐

[GN⁺]

Hacker News 의견들

• 가장 비교해 보고 싶은 대상은 Gemma 4 12B의 4비트 QAT 버전임. 7GB가 채 안 돼 이 모델보다 조금 클 뿐이고, 웬만한 최신 기기에서 실행되면서 크기 대비 놀라울 정도로 똑똑함
  도구 활용 능력이 뛰어나고 비전 성능도 크기에 비해 대단함. 정밀도를 한 단계씩 낮출 때 얼마나 많은 성능이 사라지는지 아직 파악 중이지만, Google의 QAT 버전들은 4비트에서 손실이 매우 적다는 걸 보여주는 듯함

  • 공개된 수치를 Gemma 결과와 교차 비교하면, 이 모델은 수학과 코딩에서 Gemma 4 12B를 크게 앞서고 지식과 도구 호출은 약간 뒤처지며 비전 작업은 상당히 떨어짐
  • Gemma 4 12B의 1비트 이진 버전도 만들어 주면 좋겠음 ;)
  • 많은 모델 계열에서 4비트가 경계점이지만, 가중치·가중치와 활성값·KV 캐시 중 무엇을 4비트로 양자화하는지에 따라 달라짐. 모델 크기와 작업에도 좌우되므로 양자화에는 생각보다 미묘한 부분이 많음
    2024년에 나온 좋은 평가 자료는 https://arxiv.org/pdf/2402.18158임. 원저자는 아니지만 현재 갱신판을 준비하고 있으며, 아직 본격적인 문헌 조사를 하지 않아 비슷한 조사 자료를 알고 있는지 궁금함

• 투자자 관점에서는 진정한 패러다임 전환임. 프라이버시를 내세우며 대형 호스팅 모델을 감싸 제공하던 유럽 스타트업들이 대거 사라질 수 있음
  모든 것을 노트북에서 직접 실행할 수 있다면 ‘Privacy GPT™’ 같은 업체를 이용할 이유가 전혀 없음. 은행이나 다른 규제 산업도 이 정도 지능을 자체 호스팅할 수 있으므로 그런 업체에 의존할 필요가 없어짐

• 이해하는 데 도움이 필요함. 여기서 핵심은 양자화를 통해 50GB를 4GB로 줄이면서 파레토 최적 범위 안에서 지능을 대부분 보존한 것이고, 다른 양자화 모델과 크기 대비 지능을 비교한 것으로 이해했음. 다만 다른 소형 모델에서도 문제가 되는 도구 호출 성능이 가장 크게 손상된 듯함
  이 모델은 최근의 다른 4GB 모델과 비교해 어떤가? 부모 모델의 지능을 실제로 보존한 것인지, 벤치마크에 맞춰 미세 조정한 것인지 어떻게 알 수 있나?
  깎아내리려는 게 아니라 정말 놀라운 결과였으면 좋겠지만, 제한된 지식으로 보기에는 공정한 비교 그래프가 빠졌고 기존 그래프도 오해를 부를 수 있어 보임. 내가 잘못 이해한 부분을 설명해 주면 좋겠음

  • PrismML은 보통처럼 FP16으로 학습한 모델의 비트를 잘라 VRAM을 줄이는 양자화를 하는 게 아니라, 처음부터 1비트 가중치로 학습하는 것으로 이해했음
    기사에 더 자세히 나와 있으며, 1비트 가중치 128개 블록마다 FP16 가중치 하나를 두는 등의 기법으로 더 많은 정보를 담음

• Apple이 PrismML과 협상 중이라고 함: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

  • 이 내용은 PrismML CEO Babak Hassibi가 CNBC에 직접 말한 것이므로, 거짓말이거나 협상 소식을 흘려서 관계 성사 가능성을 스스로 끝낸 것일 수 있음

• 사소한 흠잡기일 수 있지만, 시연에서 모델이 제안한 요리는 별로 맛있어 보이지 않고 다량영양소 계산도 완전히 틀린 듯함. ‘스파게티, 당근, 피망, 마늘, 허브’에 단백질 25g이라니?

  • 좋은 스파게티는 단백질 비율이 15%, 즉 100g당 15g이고 가장 저품질인 제품도 100g당 12g은 들어 있음
  • 개인적으로 당근을 별로 좋아하지 않지만 맛없어 보이지는 않음. 토마토소스가 있으면 훨씬 낫겠지만, 제공된 이미지에는 선택지로 없었던 듯함
    단백질 25g은 병아리콩 같은 고단백 파스타라고 가정한 걸지도 모르지만, 확실히 잘못된 수치로 보임
  • 스파게티 200g에는 실제로 단백질이 약 25g 들어 있음
  • 왜 이렇게 평범한 질문을 휴대폰의 AI로 처리해야 하는지 모르겠음. 이런 일에는 AI는커녕 로컬 AI도 필요 없고, 예전부터 기본적인 Google 검색으로 충분했음
    휴대폰 크기의 AI가 유용하려면 AI만 할 수 있는 작업을 처리해야 함. 휴대폰 카메라로 스캔한 문서를 받아들일 수 있나? 실시간 번역을 할 수 있나? 레시피 조언은 이미 다른 수단으로 넘치도록 해결돼 있어 굳이 물어볼 이유가 없음

• 모델은 Hugging Face의 https://huggingface.co/prism-ml/models에 올라오고 있음
  LM Studio에서 GGUF와 MLX 모델을 각각 시도했지만 둘 다 작동하지 않았음. LM Studio가 먼저 llama.cpp나 MLX 엔진을 업그레이드해야 할 수도 있는데, 실행에 성공한 사람이 있는지 궁금함

  • 이전 모델은 PrismML의 llama.cpp 커스텀 포크인 https://github.com/PrismML-Eng/llama.cpp에서 실행했음. 이번 모델은 아직 시도하지 않았지만 이번 주 중 시간을 내 벤치마크할 예정임
    메인라인 llama.cpp에도 Metal과 CPU 백엔드용 패치가 들어갔다고 하므로, Mac이나 충분히 빠른 CPU와 메모리가 있다면 최신 llama.cpp만 사용해도 될 듯함
  • 실행하려는 모델에 따라 커스텀 포크가 필요할 수 있으며, 자세한 내용은 https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README....에 있음
  • PrismML의 llama.cpp 포크를 LM Studio 안에서 실행할 방법이 있는지는 모르겠음
    포크 자체는 잘 실행되지만 간단한 테스트 하나에서 모델이 추론 반복에 심하게 빠졌음. 추론 강도를 높게 설정할 때 생기는 동일한 문제일 수도 있음
    M1 Max에서는 여전히 MoE Qwen 3.6과 Gemma 4가 가장 나은 선택으로 보임. 35B가 실제로 더 나쁘다는 주장에도 확신이 없으며, 내 사용 환경에서는 27B보다 추론 반복에 훨씬 덜 빠짐
  • LM Studio에서 공식 모델 두 개를 받았고 둘 다 3.6GB였지만 어느 것도 불러오지 못했음
  • Unsloth에서도 작동하지 않았지만, 다음 업데이트 묶음이 나오면 하루나 이틀 안에 수정될 가능성이 큼

• 멋짐! 1년 넘게 삼진 모델의 규모 확장을 기다려 왔음[1]. 일반적인 Qwen 27B는 로컬 하드웨어에서 적당한 속도로 실행하기에 너무 무거워서 직접 써볼 생각에 기대됨
  [1] https://jackson.dev/post/dont-sleep-on-bitnet/

  • 나도 마찬가지임. 16GB 노트북에서 쓸 만할지도 모르는 모델이라 기대됨

• 1비트 모델로 성능 90% 를 달성한 건 우선 경이로운 결과임
  하지만 지난 2주 동안 이것이 벌써 다섯 번째 제품 발표이며, 하나같이 AI 활용 방식이 바뀌고 있고 각자의 절충안이 완벽한 해답이라고 선언함. 패러다임 전환은 제품 출시 발표문에서 일어나지 않음
  모든 출시 글을 패러다임 전환처럼 들리게 만드는 건 일종의 AI 특유 문체가 아닐까 싶음

  • 모든 기술 발표가 마찬가지임. 현실과 무관하게 마케팅 담당자는 마케팅을 할 뿐임

• 전체 문맥 길이에서도 KV 캐시 메모리 사용량이 놀라울 정도로 적어 보임. 덕분에 다중 에이전트 코딩 작업 흐름에 특히 유용할 수 있음
  새 모델 발표와 시연에서 KV 캐시 메모리 사용량과 관련 최적화를 더 명확히 다뤄주면 좋겠음

  • KV 캐시를 양자화하면 어텐션과 회상 성능이 나빠지고, 그 영향으로 장문 작업도 손상됨. 모델 계열과 크기마다 각 부분의 양자화를 견디는 정도가 다르고 목표 작업에 따라서도 달라짐

• 오늘 알게 된 사실: 1비트 모델은 실제로 +1, 0, -1의 세 값을 사용하는 1.58비트 모델임

  • 여기에는 두 가지 변형이 있음. 농담처럼 말하자면 비트의 값을 아주 크게 잡은 셈임
    Ternary Bonsai 27B는 삼진 {-1, 0, +1} 가중치와 FP16 그룹별 스케일링을 사용해 가중치당 실효 비트가 1.71비트임. 1-bit Bonsai 27B는 이진 {-1, +1} 가중치와 같은 그룹별 스케일링을 사용해 가중치당 실효 비트가 1.125비트임
  • 3상태 숫자 5개를 1바이트에 넣는 가장 실용적인 방식으로 계산하면 1.6비트임. 하지만 실제로는 보통 4상태 숫자 4개를 묶음
  • 최초의 ‘1비트’ 모델에서 시작된 아쉬운 관례임. 다만 Bonsai에는 삼진 버전과 실제 1비트 버전이 모두 있음