▲iiiiiiiiiiiii 22시간전 | parent | ★ favorite | on: Qwen3.5 모델 양자화, 왜 커뮤니티 버전은 성능이 떨어지나(x.com/Brooooook_lyn)사실 그렇게 중요하지않은레이어는 과감하게 압축해도 손실이 많이 안 일어납니다 몇몇 레이어의경우 2bit 양자화 해도 눈에 띄는 손실이 없습니다 그런데 커뮤니티 모델은 모든 레이어를 일괄로 양자화시키니까 문제가 발생하죠
사실 그렇게 중요하지않은레이어는 과감하게 압축해도 손실이 많이 안 일어납니다 몇몇 레이어의경우 2bit 양자화 해도 눈에 띄는 손실이 없습니다
그런데 커뮤니티 모델은 모든 레이어를 일괄로 양자화시키니까 문제가 발생하죠