메타 체인-오브-쏘트로 사고하는 법 학습

 (arxiv.org)
2P by GN⁺ | ★ favorite | 댓글 1개
  • Meta Chain-of-Thought(Meta-CoT)는 최종 풀이 단계만 쓰는 CoT를 넘어, 답에 도달하기 전의 잠재적 사고 과정까지 모델링하려는 프레임워크임
  • 고난도 수학 문제에서는 교과서식 최종 풀이가 실제 사고의 탐색·검증·실험을 생략해, 모델이 풀이 생성 과정을 학습하기 어려움
  • GPT-4o와 Claude도 일부 대수식 평가에서 실패할 수 있지만, “step by step” CoT는 중간 계산을 늘려 정답 가능성을 높이며 추론 계산량의 차이를 드러냄
  • OpenAI o1 계열은 HARP 같은 고난도 수학 벤치마크에서 더 긴 출력을 만들고 성능 격차를 벌려, 인퍼런스 시점 탐색과 맞닿은 행동을 보임
  • Meta-CoT 구현 경로는 프로세스 감독, 합성 데이터, MCTS·A* 검색, 선형화된 검색 추적 기반 instruction tuning, 강화학습 후학습을 묶은 훈련 파이프라인으로 제안됨

Meta-CoT가 겨냥하는 문제

  • 현재 대규모 언어 모델의 기반은 다음 토큰 예측이며, 텍스트나 연속 모달리티를 이산 토큰열로 나눈 뒤 다음 토큰의 가능도를 최대화하도록 학습됨
  • 이 접근에는 “compression is intelligence”라는 관점이 깔려 있음
    • 모델이 다음 토큰을 예측하려면 데이터 분포를 근사하고, 활성값 안에서 암묵적 추론을 수행해야 함
  • 핵심 질문은 데이터 스트림의 복잡도와 모델이 데이터 생성 알고리듬을 학습할 수 있는 능력의 관계임
  • 수학 추론은 이 질문을 평가하기 좋은 영역으로 쓰임
    • “1+2” 같은 문제는 대부분 즉시 “3”이라고 답함
    • 더 복잡한 대수식 평가 문제는 실제로 1로 단순화되지만, GPT-4o와 Claude 같은 강력한 LLM도 한 번도 올바르게 답하지 못할 수 있음
  • “think step by step” 지시와 CoT는 중간 단계를 생성하게 만들어 성능을 크게 끌어올림
    • 예시 대수식에서는 인수분해, 약분, 공통분모 계산을 거쳐 값이 1임을 보임

기존 CoT의 한계

  • CoT 확장은 이론적으로 정답 토큰 예측에 임의로 많은 계산을 투입할 수 있게 함
  • 기존 이론 문헌은 CoT가 LLM에 새로운 수준의 표현 복잡도를 제공하고, 무한 메모리 같은 가정 아래에서는 튜링 완전성까지 가능할 수 있다고 봄
  • 실제 LLM은 여전히 제한된 복잡도의 문제만 안정적으로 풀 수 있음
  • 복잡한 추론의 실제 데이터 생성 과정은 일반 CoT 데이터에 충분히 담기지 않음
    • 단순 문제의 교과서 풀이 과정은 실제 풀이 생성 과정과 비교적 잘 맞음
    • 복잡한 문제의 최종 풀이 단계는 그 풀이에 도달하기 전의 비선형적 탐색 과정을 생략함

Meta Chain-of-Thought의 정의

  • Meta-CoT는 질문에서 최종 풀이 단계와 답으로 바로 가는 대신, 그 전에 존재하는 잠재 사고들 z1 ... zK를 모델링함
  • 고전적 CoT는 답 a가 풀이 단계 s1 ... sn에 조건화된다고 볼 수 있음
  • Meta-CoT는 풀이 단계와 답 (a, s1 ... sn)이 잠재 사고 과정 z1 ... zK에 조건화된다고 봄
  • 기존 CoT 논리를 한 단계 일반화한 구조이며, 최종 풀이 바깥의 사고 과정을 학습 대상으로 끌어들임
  • 복잡한 문제에서는 최종 풀이가 짧아도, 그 풀이를 발견하는 과정은 길고 비선형적일 수 있음

IMO 2011 “windmill” 문제 사례

  • International Mathematics Olympiad 2011의 유명한 windmill 문제는 복잡한 추론의 사례로 사용됨
  • 이 문제의 공개 풀이는 몇 문장으로 표현 가능하고 특별한 사전 지식도 요구하지 않음
  • 실제 난점은 풀이가 매우 비선형적인 구조를 갖는 데 있음
    • 많은 참가자가 convex hull 구성이나 Hamiltonian graph theory 도구를 시도했지만 풀이로 이어지지 않음
    • 문제를 푼 참가자들은 기하적 탐색과 귀납적 추론을 많이 포함한 실험적 접근을 따름
  • 최종 풀이의 초반 구성은 전체 접근을 이미 알고 있어야 유용성이 보임
  • 따라서 실제 풀이 생성 과정은 왼쪽에서 오른쪽으로 이어지는 자동회귀 방식과 잘 맞지 않음

HARP 결과와 o1 계열의 토큰 사용

  • OpenAI o1 모델 계열은 인퍼런스 시점에 자동회귀 방식으로 Meta-CoT 추론을 수행하는 것으로 논의됨
  • HARP 수학 벤치마크에서 o1 계열은 기존 표준 추론 모델보다 전반적으로 높은 성능을 보임
  • 난도가 높은 문제일수록 o1과 다른 모델 사이의 성능 격차가 커짐
    • 단, LLaMa 3.1 모델에서는 흥미로운 예외가 관찰됨
  • 토큰 생성량에서도 o1 계열은 기존 모델과 다른 행동을 보임
    • Level 1 문제에서는 인간이 쓴 풀이와 비슷한 수의 토큰을 생성함
    • 더 높은 난도에서는 문제당 훨씬 많은 토큰을 생성하고, 동시에 기존 모델 대비 성능 격차도 커짐
  • 고난도 문제의 공개 풀이는 실제 생성 과정을 대표하지 못하며, o1 계열의 더 긴 Meta-CoT가 그 과정을 더 잘 근사할 수 있다는 가정으로 이어짐

탐색과 검증의 역할

  • 복잡한 목표 지향 문제에는 생성과 검증 사이에 의미 있는 난이도 격차가 존재할 수 있음
  • 이 격차는 이론 컴퓨터과학의 근본적 공개 문제와 연결되지만, 이를 증명하는 일은 연구 범위를 벗어남
  • 텍스트 말뭉치에 있는 어려운 문제의 해답은 긴 탐색 과정의 결과로 볼 수 있음
  • 하지만 그 탐색 과정 자체는 일반적으로 데이터에 표현되지 않음
  • Meta-CoT 데이터가 없거나 제한적으로만 존재하면, 모델은 고난도 추론의 실제 생성 과정을 직접 학습하기 어려움

LLaMa 3.1 8B 실험

  • LLaMa 3.1 8B base model에 Numina MATH 데이터셋으로 대규모 supervised fine-tuning을 수행함
  • 각 중간 체크포인트는 Hendrycks MATH의 500문제 평가 데이터셋에서 평가됨
  • oracle verifier를 사용하는 pass@k 평가에서는 k가 증가할수록 성능이 크게 뛰는 현상이 관찰됨
  • Figure 2는 필터링된 데이터셋이 원본 데이터보다 더 나은 스케일링을 보이며 아직 plateau에 도달하지 않았음을 보임
  • pass@2부터 pass@64까지 k를 늘리면 작은 모델에서도 적어도 하나의 정답 솔루션을 얻을 확률이 크게 증가함

훈련 경로와 열린 질문

  • Meta-CoT를 만들기 위한 방법으로 프로세스 감독과 검색 기반 합성 데이터 생성이 다뤄짐
  • 합성 Meta-CoT 생성에는 Monte Carlo Tree Search(MCTS)와 A* 검색 같은 검색 알고리듬이 포함됨
  • 단일 end-to-end 시스템을 목표로 하는 파이프라인은 선형화된 검색 추적을 사용한 instruction tuning과 강화학습 후학습을 결합함
  • “Big MATH” 프로젝트는 1,000,000개 이상의 고품질 검증 가능 수학 문제를 모아 이 연구를 지원하려는 시도임
  • 열린 연구 질문에는 추론과 검색의 스케일링 법칙, verifier의 역할, meta-RL을 통한 새로운 추론 알고리듬 발견 가능성이 포함됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • CoT 비판이 설득력 있음. 특히 알고리즘적 모방과 진짜 인지적 탐색 사이의 단절을 짚는 부분이 핵심임
    저자들은 국제수학올림피아드의 “windmill problem” 같은 고급 수학 예시로, 무차별적인 순차 사고로는 풀기 어려운 문제를 보여줌. 정적 데이터셋과 경직된 생성 과정에 기대는 틀의 한계가 드러남. CoT가 실패하는 이유는 해답을 생성하지 못해서가 아니라, 인간의 창의성처럼 해답을 떠올리는 방식을 갖지 못하기 때문임
    “초지능은 새로운 것을 발견하는 게 아니라, 발견하는 새로운 방식을 발견하는 것이다”라는 문장이 인상적임

    • 그러면 나중에는 “발견하는 새로운 방식을 발견하는 새로운 방식”이 필요한 문제도 나오고, 계속 그런 식으로 이어질 수 있음
    • 메타 추론으로 학습시키면 됨. 사람들이 발견하는 방식을 발견하는 과정을 학습시키면 되니, 큰 문제는 아니고 데이터셋을 만들어 학습시키면 된다는 느낌
    • 마지막에 인용한 문장이 좋음. 원 출처를 기억하는지 궁금함
    • windmill problem 관련해서는 https://www.3blue1brown.com/lessons/windmills가 있음

  • 논문의 큰 아이디어는 CoT가 일부 복잡한 문제에서 제한된다는 것임. 해법을 찾는 “교과서적” 방법이 없는 문제들이 있고, 이런 문제는 고유한 방법론이 필요함
    “본질적으로 해답 생성을 시작하려면 이미 전체 접근법을 알고 있어야 한다. 해답의 밑바탕이 되는 생성 과정은 왼쪽에서 오른쪽으로 진행되는 자기회귀적 과정이 아니다”라는 부분이 핵심임
    수학적으로는 추론을 잠재 변수 과정으로 보는 해석으로 정식화할 수 있음. 고전적 CoT는 최종 답의 확률을 잠재 추론 사슬에 대한 주변화로 보는 반면, 복잡한 문제의 실제 해답 생성 과정은 해답의 결합확률분포가 잠재 생성 과정에 조건부로 놓인다고 봐야 함. 그래서 q → z1 → … → z를 Meta-CoT라고 부름
    이건 꽤 중요한 출발점으로 보임. 예를 들어 o1-pro에게 1550nm 레이저 다이오드를 1GHz로 동작시키면서 비싼 콜리메이터 없이 범용 소재나 새로운 제조 접근, 제1원리 물리로 기하 손실을 낮추는 방법을 물어보면, o1-pro가 대단하다는 환상이 깨짐. “새로운” 공학은 아직 닿기 어렵고, 그런 공학을 하는 법에 대한 교과서가 없기 때문에 이런 문제들은 왼쪽에서 오른쪽으로 자기회귀적으로 풀리지 않음

    • 목표 기준이 얼마나 옮겨갔는지 놀라움
      이제 AI 모델이 “대단한 것”이 되려면, 임의의 어려운 분야에서 인간도 아직 풀지 못한 문제를 주면 좋은 해법을 뱉어내야 하는 것처럼 보임. 그런 AI는 당연히 대단하고 세상을 바꿀 수준이겠지만, 그보다 못하면 더 이상 “대단하지 않다”는 기준은 꽤 놀랍다
    • 인간도 이 문제를 물리적 현실에 질의하지 않고, 즉 실험 없이 제대로 된 해법을 낼 수 있을지 의문임
      현실의 일부는 계산 불가능하므로, 결국 우주가 직접 시뮬레이션하게 둬야만 도달할 수 있음
    • “해법을 찾는 교과서적 방법이 없는 문제”라는 말은 LLM과 상호작용해 본 내 경험과는 다름
      대부분의 사람이 이해하지 못할 방식으로 질문해도, 답변을 보면 질문 자체는 올바르게 해석했다는 걸 알 수 있었음. 답이 맞는지는 별개지만, 교과서 예시가 아닌 해석도 어느 정도 나타났음
    • “새로운 공학을 하는 법에 대한 교과서가 없다”지만, 과학적 방법에 대한 책은 있지 않나
      다른 댓글들이 말하듯, 실험과 관찰이 필요한 일을 상자 안의 초지능에게 알아내라고 기대하는 건 물리적으로 거의 불가능함. 순수수학처럼 종이에 쓰고 공리만 생각하면 되는 분야로 제한될 텐데, 그런 분야야말로 진보가 가장 어려운 축에 속함. 인류도 수천 년에 걸쳐 여러 박식가가 아주 작은 부분씩 기여하며 여기까지 왔음

  • “언어 모델은 순차 단어 사이의 상관관계를 단순히 맞추는 것이 아니라 텍스트의 암묵적 의미를 배운다”는 데 연구 커뮤니티가 합의한 건가? 이 주제를 다룬 논문이 있는지 궁금함

    • 연구 커뮤니티가 여기에 합의한 건 전혀 아니고, 여러 진영이 있음. 자연어 처리 쪽에서 크게 보면 두 관점이 있음
      2020년 Bender와 Koller 논문[1]은 의미는 형식만으로 배울 수 없고, LLM은 형식으로 학습된다고 주장함. 논문의 “The Octopus Test” 사고실험에서는 두 인간의 대화를 가로챌 수 있는 문어가 나오지만, “학습 데이터로 형식만 가진 상태에서는 의미를 배우지 못했다”고 설명함
      반대로 Yoav Goldberg의 글[2]은 근거성과 LLM이 무엇을 배우는지 더 비공식적으로 다룸. 대체로 지시 튜닝과 후학습이 “summarize” 같은 용어를 의미 있게 접지시킬 수 있다는 주장임
      [1] https://aclanthology.org/2020.acl-main.463/
      [2] https://gist.github.com/yoavg/59d174608e92e845c8994ac2e234c8...
    • 늘 느끼기에는 “텍스트의 암묵적 의미”와 “순차 단어 사이의 상관관계” 사이에 실제 차이가 없을 수도 있음
      LLM이 인간과 효과적으로 소통할 수 있다는 사실은 신경망의 지능에 대한 발견이라기보다, 인간 의사소통 의미론의 규칙성에 대한 발견에 가까움
    • 합의된 내용은 확실히 아님. 컴퓨터과학에는 의미 이론이 본래 학문 영역의 일부가 아니고, 관련 선행 연구 배경이 있는 사람도 거의 없어서 이런 과감한 주장이 여기저기 나옴
      자연어 의미론을 어떻게 부여하든, 기계학습 모델이 그 의미론을 사용한다고 보기는 어려움
      그나마 말할 수 있는 최선은, Transformer식 감독학습, 즉 “다음 단어 예측” 목표 아래에서 단어들의 상관 구조가 자연어 의미론의 극도로 거친 근사 분포를 만든다는 정도임. 이 자체는 논쟁된 적이 없고, 쟁점은 어떤 종류의 극단적 근사인가에 있음
      예를 들어 “내 손에 펜이 있다”의 진리 조건은 실제로 내 손에 펜이 있다는 것임. 해당 맥락에서 이 말을 의미하려면 이런 진리 조건에 직접 접근하는 것이 매우 그럴듯하게 필요함. 기계는 그런 발화의 진리 조건에 접근할 수 없으므로, 그 말을 의미할 수는 없음
      기계가 적절한 상황에서 “내 손에 펜이 있다”고 말한다면, “자연어 의미론의 극단적 근사”는 그 상황과 “적절함”이 무엇인지에 관한 것임
      LLM과 컴퓨터과학식 사고를 비판하는 입장에서는, 그런 응답이 적절해 보이는 “상황”, 즉 프롬프트 조건의 범위가 매우 좁다고 봄. 사용자에게 응답이 적절해 보이는 것은 도구가 잘 작동한다는 공학적 조건이지, 모델이 자연어 의미론을 이해한다는 뜻은 아님
      따라서 LLM은 제한된 상황에서 의미론을 이해하는 행위자들 사이의 대화를 근사하고, 적절한 언어 사용을 모델링한다고 말할 수 있음. “평균적인 답변 적절성” 모델이라고 부를 수는 있겠지만, “내 손에 펜이 있다”를 실제로 의미하지는 못함

  • “압축은 지능”이라는 원칙이나 Solomonoff 귀납을 근거로 드는 표현은 조심해야 함
    위에서 인용한 “A Formal Theory of Inductive Inference” 두 편 전체에서 “intelligence”라는 단어는 0번, “Compression”도 0번, “reasoning”은 “using similar reasoning”이라는 구절에서 1번만 나옴
    당연히 Solomonoff의 관심사는 귀납 추론이었음. 그가 “압축은 지능”이라고 말한 적이 있는지는 모르겠고, 이 아이디어와 구호는 훨씬 뒤에 발전한 것으로 보임. 원 출처도 확실하지 않음
    Solomonoff 귀납이 기호열에서 다음 기호를 예측하는 문제와 깊이 관련된 것은 맞지만, 꼭 언어 토큰일 필요는 없음. LLM이 “초기 단계”라는 식의 흔한 표현은 틀렸음. 언어 모델링은 컴퓨터과학 기준으로는 거의 고대 기술이고, 기술적 성숙 단계에 이미 오래전에 들어섰음
    [1] https://raysolomonoff.com/publications/1964pt1.pdf
    [2] https://raysolomonoff.com/publications/1964pt2.pdf

    • 지능이 압축의 한 형태라는 건 충분히 말이 됨. 귀납 모델은 작지만, 잠재적으로 임의의 양의 정보를 생성할 수 있음

  • 사려 깊은 작업임. 몇 달 전부터 관련 아이디어를 생각하고 작업해 왔지만 아직 비슷한 규모의 계산 자원을 쓰지는 못했고, 방향도 다소 달랐을 수 있음
    이 연구는 디코더 Transformer 구조를 더 잘 활용하기 위한 기준선을 만드는 데 확실히 도움이 됨

  • 여기서 Meta는 회사 Meta를 말하는 건가, 아니면 “메타”라는 단어를 쓰는 건가? 아니면 둘 다인가?

  • 연구자들이 스스로 떠올린 것을 연구하는 경우와, 온라인의 독립 개발자가 하던 작업이 주목받아 연구되고 논문으로 나오는 경우가 각각 얼마나 되는지 알 방법이 있는지 궁금함

  • 논문에서 단순 대입형 대수 방정식과 그 단계별 풀이를 예시로 든 건, LLM이 이전에 본 풀이법 조리법만 재현할 수 있다는 인식을 강화함
    사실 우리가 학교에서 수학을 배우는 방식과 크게 다르지 않음. 교사가 시작점을 보여주고, 단계별로 끝까지 이동함. 이걸 “Meta Chain-of-Thought”라고 부르는 건 기본 교육 과정을 과장하는 것처럼 느껴짐
    다음에는 기본 식기를 드는 행위를 “계층적 물리 운동론” 같은 억지 이름으로 부르게 될지도 모름. 학교에서는 이런 “Meta Chain-of-Thought”를 그냥 “풀이 과정을 보이라”고 불렀음. 정말 설명이 필요한 “현상”인가? 논리적 귀납, 즉 추론 단계를 우리가 어떻게 달성하는지에 대해서는 더 배울 수 있겠지만, 아직 냄비의 모양을 정확히 묘사하기에는 국물 속에 너무 깊이 들어와 있음

    • “이전에 본 조리법만 재현할 수 있다”는 게 LLM 얘기인지, 본인 얘기인지 모르겠음
답변달기