# LIMO: 추론은 적을수록 좋다 (Less is More for Reasoning)

> Clean Markdown view of GeekNews topic #19147. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=19147](https://news.hada.io/topic?id=19147)
- GeekNews Markdown: [https://news.hada.io/topic/19147.md](https://news.hada.io/topic/19147.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2025-02-10T10:04:35+09:00
- Updated: 2025-02-10T10:04:35+09:00
- Original source: [arxiv.org](https://arxiv.org/abs/2502.03387)
- Points: 3
- Comments: 0

## Topic Body

- **연구 개요**  
  - LIMO 모델은 대규모 언어 모델에서 복잡한 추론 능력이 어떻게 나타나는지를 새롭게 이해하게 하는 발견을 제시함.  
  - 기존의 생각과 달리, 복잡한 수학적 추론은 적은 수의 예제로도 효과적으로 유도될 수 있음.  
  - LIMO는 817개의 훈련 샘플만으로 AIME에서 57.1%, MATH에서 94.8%의 정확도를 달성함.  
  - 이는 이전 SFT 기반 모델의 6.5%와 59.2%에 비해 크게 향상된 결과이며, 이전 접근법의 1% 훈련 데이터만 사용함.  
  
- **LIMO의 성능**  
  - LIMO는 10개의 다양한 벤치마크에서 40.5%의 절대적인 성능 향상을 보이며, 100배 더 많은 데이터로 훈련된 모델들을 능가함.  
  - 이는 SFT가 암기보다는 일반화로 이어진다는 기존의 생각에 도전함.  
  
- **LIMO 가설**  
  - LIMO 가설은 기초 모델에서 도메인 지식이 사전 훈련 동안 완전히 인코딩된 경우, 최소한의 시연으로도 복잡한 추론 능력이 나타날 수 있음을 제안함.  
  - 복잡한 추론을 유도하는 임계값은 두 가지 주요 요인에 의해 결정됨:  
    1. 사전 훈련 동안 모델의 인코딩된 지식 기반의 완전성.  
    2. 모델이 복잡한 추론 작업을 해결하기 위해 지식 기반을 활용하는 방법을 보여주는 "인지 템플릿"으로서의 사후 훈련 예제의 효과성.  
  
- **오픈 소스 제공**  
  - 데이터 효율적인 추론에 대한 재현성과 미래 연구를 촉진하기 위해 LIMO를 포괄적인 오픈 소스 스위트로 제공함.

## Comments



_No public comments on this page._