- LADDER는 어려운 문제를 더 쉬운 변형으로 내려갔다가 다시 올라오게 해, 인간 피드백이나 큐레이션 데이터 없이 LLM의 문제 해결 능력을 높이는 프레임워크임
- 핵심은 모델이 풀 수 있는 수준까지 난이도 기울기를 만들고, 검증 가능한 하위 문제의 해답을 더 어려운 문제 해결의 디딤돌로 쓰는 구조임
- 수학 적분 과제에서 Llama 3.2 3B는 학부 수준 문제 정확도가 1%에서 82% 로 향상됐으며, 기여 항목에는 시작값이 2%로도 표기돼 있음
- Qwen2.5 7B Deepseek-R1 Distilled는 MIT Integration Bee 예선에서 LADDER만으로 73%를 기록해 GPT-4o의 42%와 일반적 인간 성능 15~30%를 넘었음
- TTRL은 테스트 시점에도 문제 변형과 강화학습을 적용해 같은 시험 정확도를 73%에서 90%로 높였고, OpenAI o1보다 높은 최신 성능을 달성함
LADDER가 겨냥한 학습 병목
- 강화학습은 LLM 학습에 효과적이지만, 모델의 현재 능력에 맞고 결과를 확인할 수 있는 검증 가능한 과제가 필요함
- 문제가 모델 능력보다 너무 어려우면 학습이 멈추거나 성능이 악화되는 붕괴가 발생할 수 있음
- 복잡한 추론 영역에서는 쉬운 과제와 고급 과제 사이의 간격이 커서, 점진적으로 학습할 수 있는 난이도 구성이 중요함
- LADDER는 복잡한 문제에서 출발해 모델이 더 쉬운 변형 문제를 여러 개 만들고, 각 변형이 다시 하위 변형을 만드는 재귀적 문제 분해를 사용함
- 모델이 안정적으로 풀 수 있는 문제까지 내려가면, 그 해답들이 더 어려운 변형을 해결하기 위한 디딤돌로 활용됨
자기 주도 학습과 검증 조건
- 인간이 만든 데이터셋이나 피드백 대신, 모델의 기존 능력으로 자연스러운 난이도 기울기를 생성함
- 학습에는 검증 가능한 보상이 필요하며, 이 연구는 해답 확인에 수치 적분을 사용함
- 프레임워크는 모델이 자기 진행 상황을 평가하고 학습 경로를 조정하게 해, 사람의 개입 없이 강화학습을 적용할 수 있게 함
- 재귀적 문제 분해와 자기 주도 학습은 GRPO 기반 강화학습과 결합됨
- 문제 변형 생성과 검증은 신뢰할 수 있는 검증 메커니즘이 있을 때 작동하는 구조임
적분 벤치마크와 TTRL 결과
- 수학 적분 벤치마크에서 LADDER는 표준적인 pass@k 샘플링으로 가능한 수준을 넘는 성능 향상을 보였음
- Llama 3.2 3B는 학부 수준 적분 문제에서 정확도가 82%까지 올라감
- 초록에는 시작 정확도가 1%로 표기됨
- 기여 항목에는 시작 정확도가 2%로 표기돼 있음
- Qwen2.5 7B Deepseek-R1 Distilled는 2025 MIT Integration Bee 예선에서 LADDER 적용 후 73% 정확도를 달성함
- GPT-4o는 42%
- 일반적 인간 성능은 15~30%
- TTRL(Test-Time Reinforcement Learning)은 테스트 시점에 문제 변형을 동적으로 만들고, 각 테스트 인스턴스에 강화학습을 적용하는 마이크로 학습 과정임
- TTRL은 훈련 때 사용한 검증 메커니즘을 추론 시점에도 활용해 해답을 더 다듬음
- MIT Integration Bee에서 TTRL은 LADDER만 사용한 73%를 90%로 높였고, OpenAI o1보다 높은 최신 성능을 달성함
- 이 결과는 아키텍처 확장이나 인간 감독 없이도 전략적 문제 분해와 검증 기반 자기 학습으로 큰 성능 향상이 가능함을 보여줌