- Microsoft 연구진이 BitNet b1.58 2B4T라는 초효율적인 AI 모델을 개발했음
-
1비트 양자화를 통해 높은 속도와 낮은 메모리 사용량 달성하여 CPU에서도 실행 가능하며 MIT 라이선스로 공개됨
- Apple M2 같은 CPU에서도 실행 가능하며 GPU 없이 작동함
-
2억 개의 파라미터를 가진 BitNet b1.58 2B4T는 Meta, Google, Alibaba 모델보다 성능이 뛰어남
- 다만, Microsoft의 bitnet.cpp 프레임워크를 사용해야 하며, GPU와의 호환성 문제는 여전히 존재함
Microsoft의 초경량 1비트 AI 모델 BitNet b1.58 2B4T
초경량 모델 BitNet의 개념
-
BitNet은 1비트 양자화를 적용한 AI 모델로, -1, 0, 1 세 가지 값만을 사용하여 파라미터를 표현함
- 기존의 양자화 모델은 일반적으로 8비트 또는 4비트로 표현되지만, BitNet은 1비트만 사용해 압도적인 메모리 효율성을 가짐
- 이 방식은 저사양 하드웨어, 특히 GPU가 없는 CPU 환경에서 큰 이점을 가짐
BitNet b1.58 2B4T의 특징
-
파라미터 수: 20억 개
-
학습 데이터: 4조 토큰 (약 3,300만 권의 책 분량)
- MIT 라이선스로 오픈소스 공개됨
-
Apple M2 CPU와 같은 범용 CPU에서도 작동 가능
성능 비교와 벤치마크 결과
- BitNet b1.58 2B4T는 다음 모델들보다 일부 벤치마크에서 우수한 성능을 보임:
-
Meta Llama 3.2 1B
-
Google Gemma 3 1B
-
Alibaba Qwen 2.5 1.5B
- 사용된 주요 벤치마크:
-
GSM8K: 초등학교 수준 수학 문제 평가
-
PIQA: 물리적 상식 추론 능력 평가
-
일부 테스트에서 최대 2배 빠른 속도, 메모리 사용량은 현저히 적음
제한 사항 및 호환성 문제
- BitNet의 성능은 Microsoft의 전용 프레임워크인
bitnet.cpp 에 의존함
-
bitnet.cpp는 현재 특정 CPU만 지원, GPU는 미지원
- 이로 인해 AI 인프라 표준인 GPU 환경과의 호환성 부족이 단점으로 지적됨