- DeepScaleR-1.5B-Preview: Deepseek-R1-Distilled-Qwen-1.5B 모델을 강화 학습(RL)으로 미세 조정한 모델
- AIME2024 Pass@1 정확도 43.1% 달성 (기본 모델 대비 +14.3% 향상),
→ OpenAIo1-preview성능 능가! - 3,800 A100 GPU 시간($4500)으로 훈련 → 70,000 A100 GPU 시간 대비 18.42배 효율적인 RL 스케일링
- 데이터셋, 코드, 훈련 로그 오픈소스 공개 → 누구나 RL을 활용한 지능 확장을 실험 가능
RL을 활용한 소형 모델 강화
- Deepseek-R1은 OpenAI
o1과 견줄 수 있는 오픈소스 모델이지만, 정확한 훈련 과정은 비공개 - RL을 활용하여 적은 계산량으로 강력한 추론 모델을 개발하는 방법을 연구
- 기존 RL의 가장 큰 한계는 고비용:
→Deepseek-R1의 실험을 재현하려면 최소 70,000 A100 GPU 시간 필요 - 해결책:
- 고성능 지식 증류(distillation) 모델 활용
- RL을 점진적으로 확장하는 "Iterative Lengthening" 기법 도입 → 계산량 3,800 A100 GPU 시간으로 절감
데이터셋 구축
-
AIME(1984-2023) + AMC(2023 이전) + Omni-MATH + Still 데이터셋 사용
-
데이터 정제 과정:
- 정답 추출:
gemini-1.5-pro-002를 활용해 공식 해설에서 정답 추출 - 중복 제거:
sentence-transformers/all-MiniLM-L6-v2임베딩 기반으로 유사 문제 제거 - 채점 불가능 문제 필터링:
sympy를 활용한 자동 평가가 어려운 문제 제거
- 정답 추출:
-
최종적으로 40,000개 문제-정답 쌍 확보, 향후 데이터 확장 예정
보상 함수(Reward Function)
-
Deepseek-R1과 동일하게 "Outcome Reward Model (ORM)" 적용:
1점: 올바른 형식의 정답 (sympy검증 통과)0점: 잘못된 정답, 형식 오류 (<think>...</think>누락 등)
-
"과정 기반 보상(Process Reward Model, PRM)"을 사용하지 않는 이유:
- 보상 해킹(reward hacking) 방지 → 모델이 형식만 따라가려는 부작용 방지
"Iterative Lengthening": RL 학습을 단계적으로 확장하는 기법
Step 1: 8K 컨텍스트로 RL 학습 시작
- 이유:
- 잘못된 답변은 평균 20,346 토큰, 정답은 6,395 토큰 → 긴 응답이 오답 가능성 증가
- 초기부터 긴 컨텍스트로 학습하면 비효율적 → 8K로 먼저 최적화
- 결과:
- AIME Pass@1 28.9% → 33.9% (+5%) 향상
- 불필요한 토큰 수 감소 → 평균 응답 길이 10,484 토큰 감소
Step 2: 16K 컨텍스트로 확장
- 훈련 1,000스텝 이후, 모델이 더 길게 사고(추론)하려는 경향을 보임
- 하지만 8K 한계로 인해 학습 효과가 제한됨 → 16K로 확장
- 장점:
- 처음부터 16K로 훈련하는 것보다 2배 이상 빠름 (평균 응답 길이 3,000 → 9,000 토큰 방지)
- AIME2024 정확도 38% 도달
Step 3: "24K Magic" - 최종 성능 향상
- 16K에서 성능이 정체 → 24K 컨텍스트로 마지막 확장
- 결과적으로 AIME2024 Pass@1 정확도 43.1% 도달, OpenAI
o1-preview능가!
최종 평가 결과
- DeepScaleR 모델은 AIME, MATH 500, AMC 2023, Minerva Math, OlympiadBench 등 여러 수학 벤치마크에서 평가됨
- AIME2024 기준, DeepScaleR-1.5B-Preview의 정확도는 43.1%로, OpenAI
o1-preview모델보다 우수함 - MATH 500, AMC 2023 등에서도 1.5B 모델임에도 불구하고 7B 모델과 동등하거나 더 높은 성능을 기록
- 이전 연구(RL 기반 rStar, PRIME, SimpleRL)와 비교해도 최고의 효율성을 보여줌
핵심 요약 (Key Takeaways)
-
소형 모델에서도 RL 확장이 가능함
- 기존에는 RL이 대형 모델에만 효과적이라는 인식이 있었음
- 하지만 고품질 데이터로 미세 조정된 작은 모델도 RL을 통해 강력한 추론 능력을 학습 가능
- DeepScaleR는 28.9% → 43.1% (AIME 정확도) 향상
-
"Iterative Lengthening" 기법으로 효과적인 길이 확장 가능
- 기존 연구에서는 16K 이상 컨텍스트에서 성능 향상이 미미함을 보고
- 8K → 16K → 24K 점진적 확장을 통해 성능 최대화
결론: RL 스케일링의 대중화
- DeepScaleR-1.5B-Preview는 O1-preview를 능가하는 최초의 오픈소스 RL 모델
- 3,800 A100 GPU 시간($4500)만으로도 고성능 모델 구축 가능 → 저비용 RL 연구의 가능성 증명
- 오픈소스 커뮤니티와 함께 RL 기반 추론 모델의 발전을 지속할 예정
🔗 오픈소스 자료: