▲cartwheel8815 2025-04-21 | parent | ★ favorite | on: Microsoft, CPU에서 실행가능한 초고효율 AI 모델 BitNet 개발(techcrunch.com) BitNet은 1비트 양자화를 적용한 AI 모델로, -1, 0, 1 세 가지 값만을 사용하여 파라미터를 표현함 값이 3개인데 1비트? 이상하다고 생각해서 HN 댓글 좀 봤는데, https://compilade.net/blog/ternary-packing 1바이트당 2개 값을 표현하는 8개 비트 대신 3개 값을 표현하는 5개의 ternary digit로 다루기 때문에 엄밀하게 1비트 모델은 아니고, log(3) / log(2) = 1.5849...비트 모델이네요. 모델 이름에 b1.58 포함된거 보면 이게 맞는거 같습니다.
값이 3개인데 1비트? 이상하다고 생각해서 HN 댓글 좀 봤는데,
1바이트당 2개 값을 표현하는 8개 비트 대신 3개 값을 표현하는 5개의 ternary digit로 다루기 때문에 엄밀하게 1비트 모델은 아니고, log(3) / log(2) = 1.5849...비트 모델이네요. 모델 이름에 b1.58 포함된거 보면 이게 맞는거 같습니다.