LADDER: 재귀적 문제 분해로 자기 개선하는 LLM

 (arxiv.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • LADDER는 어려운 문제를 더 쉬운 변형으로 내려갔다가 다시 올라오게 해, 인간 피드백이나 큐레이션 데이터 없이 LLM의 문제 해결 능력을 높이는 프레임워크임
  • 핵심은 모델이 풀 수 있는 수준까지 난이도 기울기를 만들고, 검증 가능한 하위 문제의 해답을 더 어려운 문제 해결의 디딤돌로 쓰는 구조임
  • 수학 적분 과제에서 Llama 3.2 3B는 학부 수준 문제 정확도가 1%에서 82% 로 향상됐으며, 기여 항목에는 시작값이 2%로도 표기돼 있음
  • Qwen2.5 7B Deepseek-R1 Distilled는 MIT Integration Bee 예선에서 LADDER만으로 73%를 기록해 GPT-4o의 42%와 일반적 인간 성능 15~30%를 넘었음
  • TTRL은 테스트 시점에도 문제 변형과 강화학습을 적용해 같은 시험 정확도를 73%에서 90%로 높였고, OpenAI o1보다 높은 최신 성능을 달성함

LADDER가 겨냥한 학습 병목

  • 강화학습은 LLM 학습에 효과적이지만, 모델의 현재 능력에 맞고 결과를 확인할 수 있는 검증 가능한 과제가 필요함
  • 문제가 모델 능력보다 너무 어려우면 학습이 멈추거나 성능이 악화되는 붕괴가 발생할 수 있음
  • 복잡한 추론 영역에서는 쉬운 과제와 고급 과제 사이의 간격이 커서, 점진적으로 학습할 수 있는 난이도 구성이 중요함
  • LADDER는 복잡한 문제에서 출발해 모델이 더 쉬운 변형 문제를 여러 개 만들고, 각 변형이 다시 하위 변형을 만드는 재귀적 문제 분해를 사용함
  • 모델이 안정적으로 풀 수 있는 문제까지 내려가면, 그 해답들이 더 어려운 변형을 해결하기 위한 디딤돌로 활용됨

자기 주도 학습과 검증 조건

  • 인간이 만든 데이터셋이나 피드백 대신, 모델의 기존 능력으로 자연스러운 난이도 기울기를 생성함
  • 학습에는 검증 가능한 보상이 필요하며, 이 연구는 해답 확인에 수치 적분을 사용함
  • 프레임워크는 모델이 자기 진행 상황을 평가하고 학습 경로를 조정하게 해, 사람의 개입 없이 강화학습을 적용할 수 있게 함
  • 재귀적 문제 분해와 자기 주도 학습은 GRPO 기반 강화학습과 결합됨
  • 문제 변형 생성과 검증은 신뢰할 수 있는 검증 메커니즘이 있을 때 작동하는 구조임

적분 벤치마크와 TTRL 결과

  • 수학 적분 벤치마크에서 LADDER는 표준적인 pass@k 샘플링으로 가능한 수준을 넘는 성능 향상을 보였음
  • Llama 3.2 3B는 학부 수준 적분 문제에서 정확도가 82%까지 올라감
    • 초록에는 시작 정확도가 1%로 표기됨
    • 기여 항목에는 시작 정확도가 2%로 표기돼 있음
  • Qwen2.5 7B Deepseek-R1 Distilled는 2025 MIT Integration Bee 예선에서 LADDER 적용 후 73% 정확도를 달성함
    • GPT-4o는 42%
    • 일반적 인간 성능은 15~30%
  • TTRL(Test-Time Reinforcement Learning)은 테스트 시점에 문제 변형을 동적으로 만들고, 각 테스트 인스턴스에 강화학습을 적용하는 마이크로 학습 과정임
  • TTRL은 훈련 때 사용한 검증 메커니즘을 추론 시점에도 활용해 해답을 더 다듬음
  • MIT Integration Bee에서 TTRL은 LADDER만 사용한 73%를 90%로 높였고, OpenAI o1보다 높은 최신 성능을 달성함
  • 이 결과는 아키텍처 확장이나 인간 감독 없이도 전략적 문제 분해와 검증 기반 자기 학습으로 큰 성능 향상이 가능함을 보여줌

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이번 주에 ML 돌파구가 왜 이렇게 많이 보이는지 신기할 정도임
    지난 이틀만 해도 흥미롭고 가능성 있는 결과를 최소 3개 봤고, Google 연구팀은 신경망과 CLA를 디지털 논리 게이트를 매개로 결합할 수 있음을 보여줬음
    그래서 여러 비선형 문제를 단순하고 효율적인 디지털 회로로 줄일 가능성까지 생겼고, 오늘 HN 첫 페이지에도 올라왔음: https://news.ycombinator.com/item?id=43286161
    신경망과 논리·지능 전반에 관한 머리 아픈 결과가 계속 나오니, 지능이 어떻게 작동하는지 제1원리에서 정말 이해하는 시점이 얼마나 가까운지 상상하게 됨

    • 이런 건 지난 1년쯤 사람들이 숨겨오던 비법에 가까웠음
      DeepSeek의 오픈소스 공개 이후 가치가 많이 낮아졌고, 회사들은 누군가에게 선점당하기 전에 평판 상승으로 현금화하는 쪽을 택하는 듯함
      2023년 9월에 Llama 2 파인튜닝으로 똑같은 걸 해봤지만, 누구에게도 공유할 승인을 받지 못했음
    • 업계가 순진한 스케일링만으로 AGI에 못 간다는 걸 드디어 깨닫고 나서 AI/ML에 새 접근이 많이 보이는 게 흥미로움
      작은 플레이어들도 실제 혁신으로 경쟁하고 기여할 수 있다는 장점이 있고, OpenAI/MS 같은 큰 플레이어가 오픈소스는 절대 따라잡지 못한다고 수년간 믿게 만들려 했던 분위기와도 대비됨
      지난 몇 년간 순수 GPU 연산 확장에 자원·시간·돈이 너무 많이 낭비됐음
      Gary Marcus가 몇 년 전부터 지적했고, 약 2년 학습한 GPT-4.5의 실망스러운 결과가 근거처럼 보임
    • 지금은 낮게 달린 열매가 가득한 새 과수원 같은 상태임
      최종 효용과 별개로 번쩍이고, 과대광고도 많고, 놀라움도 크며, 쏟아지는 돈을 따라가기 어려울 정도임
      그래서 가장 유능한 사람들 상당수가 관심을 갖게 됐고, 자연스럽게 돌파구를 내보려는 시도가 몰리는 중임
    • LLM 돌파구는 새로운 배터리 돌파구처럼 되어가고 있음
      아직은 트레이드오프를 정량화하는 능력이 부족할 뿐임
    • 중요한 학회들이 곧 논문 접수를 시작하는 것과 관련 있어 보임
      일부 학회는 접수 전 몇 주 동안 사전출판 공개를 금지하므로, 사람들이 서둘러 업로드했을 가능성이 있음

  • 유명한 수론 수학자 Hendrik Lenstra의 말을 떠올리게 함: “풀 수 없는 모든 문제에는, 역시 풀 수 없는 더 단순한 문제가 있다”

    • 이 인용이 진짜인지 궁금함
      George Pólya의 “제시된 문제를 풀 수 없다면 먼저 더 단순한 관련 문제를 풀어보라”는 말은 익숙하지만, Lenstra 인용의 출처는 찾지 못했음
    • 이건 귀납이 예쁘게 되지 않음
      모욕으로 한 말이라면 모를까

  • 이들의 테스트 시점 강화학습 접근은 조금 수상해 보임
    이해한 바로는 TTRL이 언어 모델에게 테스트 사례의 더 쉬운 버전을 생성하게 하고, 그 단순화된 문제들에 강화학습을 돌려서 원래 문제 성능도 좋아지길 기대하는 방식임
    문제는 단순화된 문제를 검증할 때 수치 적분기를 쓴다는 점임
    거의 원문제와 다를 바 없는 문제가 생성되고, 모델이 정답을 아는 상태로 테스트 사례에 가깝게 학습하는 상황도 상상 가능함
    테스트 세트로 학습하는 것처럼 보이지만, 논문의 나머지 부분은 괜찮음

    • 모델이 푸는 과제는 기호 적분 아닌가 싶음
      모델이 원래 문제 자체에 수치 적분기 도구를 쓸 수 있어도 풀기 어려운 문제임

  • LADDER가 수학 적분에서 효과적임을 보였고, 학부 수준 문제에서 Llama 3.2 3B의 정확도를 1%에서 82%로 올렸다고 함

  • Frank Herbert는 이미 알고 있었음
    이건 기본적으로 Dune에 나오는 멘타트의 재귀적 자기점검을 구현한 것에 가까움

  • 테스트 시점 학습/강화학습은 미래의 수학 AI에 확실히 맞는 접근으로 보임
    특정 문제에 말도 안 되는 양의 계산 자원, 예컨대 며칠 동안 GPU 10^5개를 쏟아부을 수 있는 몇 안 되는 방법이고, 테스트 시점 추론 확장이 처음엔 잘 안 먹히는 상황에서도 진전을 기대할 수 있음
    예를 들어 나쁜 가치/정책망으로 바둑 국면에 MCTS를 돌리는 상황을 떠올리면 됨
    AlphaProof가 이미 이런 걸 했지만, 다시 좋은 결과로 보게 되어 반가움

    • 흥미로운 지점은 향상된 성능을 작은 크기의 LLM으로 얼마나 증류할 수 있는지임
      그러면 정책 개선기, 즉 비슷한 문제에 대한 테스트 시점 강화학습을 갖게 되어 AlphaZero가 작동하는 방식을 더 잘 모사할 수 있음
      그리고 32B 같은 작은 신경망이 이론적으로 얼마나 강해질 수 있는지도 볼 수 있음

  • 참고로 Tufa Labs 팀에는 ARC-AGI로 알려진 MindsAI 팀이 포함되어 있음
    https://tufalabs.ai/team.html

  • 어떤 이름들은 너무 유혹적임: https://arxiv.org/abs/1507.02672

  • 논문 끝에서 시스템이 계속 틀렸던 2025 MIT Integration Bee 예선 문제 두 개를 언급함
    그 문제들이 시험에서 가장 복잡한 축이었다고 하지만, 첫 번째는 그냥 ∫ ∛(x · ∜(x · ∜(x · √(x · √(x · ⋯ ))))) dx 이고, 결국 1/3 + 1/(34) + 1/(34*5) + ... 를 계산하면 됨
    그러니 아주 고급 수학이라고 보긴 어려움

    • 그래도 7B 모델임
      문제가 고급은 아니지만, 모델도 그다지 고급은 아님

  • 이게 조금이라도 작동한다는 것 자체가 꽤 흥미롭고, 특히 수학에서 아주 잘 작동하는 듯하다는 점은 더 흥미로움
    다만 이 논문은 지금 진행 중인 학습과 추론의 경계 흐림 흐름의 일부임
    방법 중 일부는 답을 모르는 질문을 더 쉬운 질문으로 분해하고, 수치적 검사기를 둔 GRPO로 그 질문들에 강화학습을 수행하는 것임
    그렇게 강화된 모델이 더 많은 질문에 답할 수 있게 됨
    이 접근이 마음에 듦
    사람도 무언가를 곱씹고, 머릿속에서 뒤집어 보고, 유추하는 식으로 많이 하는 일임
    테스트 시점 학습을 더하면 고정 추론에서 문맥에 토큰을 더 붙이는 것보다 훨씬 많은 사고를 할 수 있음
    DeepSeek와 o1/o3가 추론 시점 토큰 생성과 평가로 역량을 늘릴 수 있음을 보여준 것처럼, 추론 시점의 자동 파인튜닝으로도 역량을 키울 수 있어 보임
    이런 기법들이 굳어지면 이를 말하고 생각하는 새로운 방식이 생기길 바람
    어떤 수준에서는 모두 같은 근본 과정의 일부처럼 보이고, 어쨌든 정말 멋짐

답변달기