- QwQ-32B 모델은 320억 개의 파라미터를 가진 모델로, DeepSeek-R1과 유사한 성능을 보임
- 이 모델은 대규모 언어 모델의 지능을 강화하기 위해 강화 학습(RL)을 활용
- Hugging Face와 ModelScope에서 Apache 2.0 라이선스로 공개되어 있으며, Qwen Chat을 통해 접근 가능함
성능
- QwQ-32B는 수학적 추론, 코딩 능력, 일반 문제 해결 능력을 평가하는 다양한 벤치마크에서 테스트됨.
- DeepSeek-R1-Distilled-Qwen-32B, DeepSeek-R1-Distilled-Llama-70B, o1-mini, 그리고 원본 DeepSeek-R1과 비교하여 성능을 평가함
- QwQ-32B는 LiveBench, BFCL에서 최고 성능을 기록하며, IFEval, AIME24에서도 DeepSeek-R1-671B와 비슷한 수준임
- LiveCodeBench에서는 DeepSeek-R1-671B보다 약간 낮지만, 여전히 다른 모델보다 우수함
- 전반적으로, DeepSeek-R1-671B와 비슷하거나 더 나은 성능을 보이면서도 **훨씬 적은 파라미터(325억 vs 6710억)**로 경쟁력을 입증
- 즉, QwQ-32B는 강화 학습을 통해 최적화된 모델로서, 훨씬 작은 규모임에도 불구하고 최상위 성능을 달성한 것이 핵심 포인트
강화 학습
- 초기 단계에서 수학과 코딩 작업을 위한 강화 학습(RL) 스케일링 접근 방식을 도입함
- 전통적인 보상 모델 대신 정확성 검증기와 코드 실행 서버를 사용하여 최종 솔루션의 정확성을 보장
- 일반적인 능력을 위한 추가 RL 단계가 있으며, 이는 인간의 선호도와 에이전트 성능과 같은 일반적인 능력의 성능을 향상시킴
향후 작업
- Qwen은 강화 학습(RL)을 확장하여 추론 능력을 향상시키는 초기 단계에 있음
- 강화된 기초 모델과 스케일링된 계산 자원을 결합하여 인공지능 일반 지능(AGI) 달성에 가까워질 것임
- 에이전트와 RL의 통합을 통해 장기적인 추론을 가능하게 하여 더 큰 지능을 발휘할 수 있도록 탐구 중임