GN⁺: LIMO: 추론은 적을수록 좋다 (Less is More for Reasoning)

• 연구 개요

  • LIMO 모델은 대규모 언어 모델에서 복잡한 추론 능력이 어떻게 나타나는지를 새롭게 이해하게 하는 발견을 제시함.
  • 기존의 생각과 달리, 복잡한 수학적 추론은 적은 수의 예제로도 효과적으로 유도될 수 있음.
  • LIMO는 817개의 훈련 샘플만으로 AIME에서 57.1%, MATH에서 94.8%의 정확도를 달성함.
  • 이는 이전 SFT 기반 모델의 6.5%와 59.2%에 비해 크게 향상된 결과이며, 이전 접근법의 1% 훈련 데이터만 사용함.

• LIMO의 성능

  • LIMO는 10개의 다양한 벤치마크에서 40.5%의 절대적인 성능 향상을 보이며, 100배 더 많은 데이터로 훈련된 모델들을 능가함.
  • 이는 SFT가 암기보다는 일반화로 이어진다는 기존의 생각에 도전함.

• LIMO 가설

  • LIMO 가설은 기초 모델에서 도메인 지식이 사전 훈련 동안 완전히 인코딩된 경우, 최소한의 시연으로도 복잡한 추론 능력이 나타날 수 있음을 제안함.
  • 복잡한 추론을 유도하는 임계값은 두 가지 주요 요인에 의해 결정됨:
    1. 사전 훈련 동안 모델의 인코딩된 지식 기반의 완전성.
    2. 모델이 복잡한 추론 작업을 해결하기 위해 지식 기반을 활용하는 방법을 보여주는 "인지 템플릿"으로서의 사후 훈련 예제의 효과성.

• 오픈 소스 제공

  • 데이터 효율적인 추론에 대한 재현성과 미래 연구를 촉진하기 위해 LIMO를 포괄적인 오픈 소스 스위트로 제공함.