사전 훈련의 절차적 지식이 LLM 추론을 이끈다

• LLM 추론 평가는 벤치마크 포화와 데이터 오염 때문에 흔들리고 있으며, 이 연구는 모델 가중치 대신 출력에 영향을 준 사전 훈련 문서를 추적함
• Cohere Command R 7B와 35B, 사전 훈련 토큰 25억 개와 문서 500만 개를 대상으로 40개 사실 질의와 40개 추론 질의의 영향 문서를 순위화함
• 사실 질의는 질문마다 영향 문서가 달랐지만, 같은 수학 과제의 추론 질의들은 여러 질문에서 비슷한 영향 패턴을 보여 절차적 지식의 존재를 시사함
• 사실 질의의 답은 상위 0.01% 영향 문서에서 자주 발견된 반면, 추론 질의의 정답이나 중간 단계 답은 대체로 상위 영향 문서에 나타나지 않았음
• 추론은 이전에 본 답을 꺼내는 방식보다, 비슷한 절차를 담은 문서들에서 일반화 가능한 풀이 과정을 합성하는 방식에 가까움

---

벤치마크 오염을 넘어 사전 훈련 문서를 추적

• LLM은 여러 추론 벤치마크에서 빠르게 높은 성능을 보이지만, 데이터 오염 때문에 점수를 일반화 능력으로 곧바로 해석하기 어려움
  • 일반적인 머신러닝에서는 훈련 데이터와 테스트 데이터를 분리해 일반화를 측정함
  • 현재 최첨단 모델은 수조 개 토큰 규모의 데이터를 사용하므로 벤치마크가 사전 훈련 데이터에 섞일 가능성을 피하기 어려움
  • 재표현된 벤치마크 데이터도 N-그램 기반 탐지를 피하면서 성능에 영향을 줄 수 있음
• 핵심 질문은 LLM이 사전 훈련 데이터에서 어떻게 추론을 배우는가임
  • 이전에 본 답이나 추론 흔적을 검색해 재조합하는지
  • 질문과 더 추상적으로 관련된 여러 문서에서 절차를 배워 일반화하는지 비교함
• 분석은 모델 내부 가중치를 직접 해석하지 않고, 특정 출력에 영향을 준 사전 훈련 문서를 거슬러 올라감
  • 강건 통계 기법을 대규모 Transformer에 맞춘 영향 함수 방식으로 사용함
  • 각 사전 훈련 문서가 특정 프롬프트-완성 쌍의 가능도에 얼마나 영향을 주는지 계산함

실험 설정

• 실험 대상은 Cohere의 Command R 7B와 35B 두 모델임
• 분석한 사전 훈련 데이터는 25억 토큰이며, 이를 500만 개 문서로 다룸
• 질의는 총 80개로 구성됨
  • 40개 사실 질의: 파라메트릭 지식에서 답을 검색해야 하는 질문
  • 40개 추론 질의: 단순한 수학 추론 질문
• 추론 질의는 세 가지 수학 과제를 포함함
  • 2단계 산술
  • 기울기 계산
  • 선형 방정식 풀이
• 각 질의마다 사전 훈련 문서 500만 개를 모델 출력 가능도에 미친 영향 기준으로 순위화함

추론에서는 같은 절차를 담은 문서가 반복해서 영향

• 같은 수학 과제에 속한 서로 다른 추론 질의들은 문서 영향 패턴이 비슷하게 나타남
  • 한 문서가 한 추론 질의의 추론 흔적에 미치는 영향은 같은 과제의 다른 질의에 대한 영향도 강하게 예측함
  • 이 패턴은 4개 사례 중 3개에서 확인됨
• 문서는 특정 숫자나 답 하나에만 대응하지 않고, 같은 절차를 다른 숫자에 적용하는 여러 질문에 비슷하게 기여함
• 반대로 사실 질의는 각 질문마다 주로 서로 다른 데이터 집합에 의존하며, 추론 질의 같은 공통 영향 패턴이 나타나지 않음
• 기울기 계산 과제에서는 상관이 특히 강하게 나타남
  • 이 과제의 다수 질의에서 상위 0.002% 사전 훈련 데이터 안에 코드나 수학 형태의 풀이 절차가 여러 번 발견됨

사실 검색과 추론은 영향 문서의 성격이 다름

• 사실 질의에서는 답 자체가 영향력이 높은 문서에 자주 등장함
  • 상위 500개 문서, 즉 상위 0.01% 영향 문서에서 7B 모델 질의의 55%, 35B 모델 질의의 30%가 답을 포함함
• 추론 질의에서는 정답이 영향력이 높은 문서에 거의 나타나지 않음
  • 25억 토큰 전체에서 정답을 찾을 수 있는 경우에도 상위 영향 문서에는 보통 나타나지 않음
  • 중간 추론 단계의 답도 영향력이 높은 문서에 대체로 포함되지 않음
• 추론 질의는 모델이 생성한 질의 정보량 단위당 개별 문서 영향이 사실 질의보다 대체로 낮음
  • 추론 흔적을 만들 때 문서 하나하나에 덜 의존함
• 영향 문서 집합의 전체 영향 크기도 추론 질의에서 덜 변동적임
  • 25억 사전 훈련 토큰의 무작위 부분집합 안에 매우 영향력 높은 문서가 포함되는지는 사실 질의에서 더 우연에 좌우됨
• 두 패턴을 함께 보면, 추론은 개별 문서 의존도가 낮고 더 일반적인 문서 집합에서 일반화하는 쪽에 가까움

코드와 고품질 절차 데이터의 역할

• 수학 추론 질의의 긍정적·부정적 영향 순위 상위 부분에서 코드 데이터가 훈련 분포 대비 강하게 과대표집됨
• 코드가 분석 대상 모든 수학 과제에서 중요한 역할을 한다는 증거가 확인됨
• 모델의 추론은 사전 훈련 중 형성된 파라메트릭 지식에서 답을 검색하는 방식과 다름
  • 일반적인 절차 설명
  • 유사한 절차가 적용된 사례
  • 코드나 수식으로 풀이 과정을 보여주는 문서
• 모든 가능한 사례를 사전 훈련 데이터에 넣기보다, 다양한 추론 과제에서 절차를 보여주는 고품질 데이터에 집중하는 편이 더 효과적일 수 있음
• 연구 범위는 같은 수학 과제 안에서 절차를 학습하는 경우로 제한됨
  • 코드처럼 여러 과제에 걸쳐 절차 학습을 가능하게 하는 사전 훈련 데이터 유형이 있는지는 추가 질문으로 남아 있음

[GN⁺]

Hacker News 의견들

• LLM이 훈련 데이터에서 모든 문제의 예시를 찾을 수는 없다는 건 당연해 보임. 정보 검색식 사실 조회에 필요한 만큼의 예시가 충분할 리 없으니, 주어진 문제에 대해 어떤 형태의 외삽으로 새로운 해법을 만들어낸다고 볼 수 있음
  흥미로운 건 이 논문이 Apple LLM 논문[0]의 결론과도 모순되지 않는다는 점임. 그 논문은 프롬프트를 변형해 LLM이 오류를 내도록 했고, LLM이 새 해법을 만들 때도 기존 예시 해법에서 작은 편차만 만들 수 있다고 믿을 수 있음
  이 해법 생성 과정을 “추론”이라고 부르는 건 싫음. LLM 회사들이 기술을 말할 때 감정적 반응을 유도하려고 만든 용어에 가깝다고 봄. 그래도 자연어와 어느 정도의 모호성만으로 기계가 일련의 단계를 따르게 만들 수 있게 된 건 큰 진전임
  [0] https://machinelearning.apple.com/research/gsm-symbolic

  • LLM은 창의적 문제 해결이나 논리 적용이라는 의미의 추론에는 잘 맞지 않는다는 관점에 크게 동의함. 이 영역의 진짜 잠재력은 부정확한 자연어와, SQL·Prolog·Python·Lean 같은 형식 언어 사이를 이어주는 일종의 컴파일러 계층으로 쓰는 데 있다고 봄
    그다음 형식 언어 계층의 결과나 출력을 종합할 수 있고, 기본적으로 “에이전트”가 됨. 다만 LLM이 “언어적 추론” 작업은 할 수 있다고 생각함. 언어적·질적·양적 추론의 경계가 어디인지는 잘 모르겠고, 표준화 시험의 언어 영역이 떠오름
  • “어떤 형태의 외삽으로 새로운 해법을 만든다”고 믿을 수는 있지만, 그 믿음에는 어떤 증거를 쓰고 있는지 궁금함
    그리고 Apple 논문의 초록은 “손상”처럼 뭔가 교묘한 표현을 쓰기보다는, 초기 숫자값을 바꿨다고 말함
  • 컴퓨터를 의인화하는 일은 ChatGPT 훨씬 전부터 있었음. 컴퓨터가 죽어서 문서가 저장되지 않았을 때 “컴퓨터가 숙제를 먹었다”고 말해도 실제로 먹었다고 생각하는 사람은 없고, 방금 벌어진 일을 쉽게 가리키는 표현일 뿐임
    LLM 이전에도 “컴퓨터가 생각 중이다”라는 말은 가능했음. 수학 용어를 모두가 아는 것도 아니니, “Claude가 내 에세이를 내적했다”거나 “ChatGPT에게 상사에게 보낼 편지를 내적하게 했다”고 말해봐야 내적이 뭔지 모르는 사람이 많음. 기술적으로 더 정확한 동사라도 누가 쓰겠나 싶음
    AI 회사들이 “생각”이나 “추론” 같은 표현을 밀어붙이지 않은 건 아니지만, 그것들이 가장 쓰기 편한 말이기도 함. 모델이 strawberry에 R이 두 개 있다고 “생각”한다고 하지, “내적한다”고 하진 않음. 행렬 곱도 하고 가끔 softmax도 하고 합성곱도 하지만, 대부분은 Terence Tao가 아니라서 뭔가가 softmax 중이라는 감각이 없음
  • 이런 회사들은 자기 AI 모델을 스스로 생각하고 추론하는 AI처럼 보이게 밀고 있지만, 실제로는 엄청난 양의 데이터셋으로 훈련되고 그걸 외삽해 맞는 답을 찾는 것에 가깝다고 봄
    여전히 자기 데이터셋의 상자 밖으로는 생각하지 못함

• 인간이 문제를 단계별로 풀어줘야 신경망이 그걸 흉내 낼 수 있다는 뜻인가? 이렇게 써놓고 보니 꽤 당연하게 들림

  • 아니라고 봄. 제대로 이해했다면, 절차적 문제 해결 예시를 흡수해서 소프트웨어가 문제 푸는 일반적 방법을 배우는 뜻임

• 이러면 코드로 훈련했을 때의 예상 밖 이점이 설명될 수 있음

  • 흥미롭게 들리지만 문외한이라 잘 모르겠음. 관련 링크를 줄 수 있는지 궁금함
    https://arxiv.org/abs/2408.10914는 찾았지만, 이게 말한 논문인지 판단할 배경지식이 없음

• “LLM은 문제를 푸는 일반 능력을 보이지만, 인간과 비교하면 놀라운 추론 공백도 보여 일반화 전략의 견고성에 의문을 던진다”는 문장이 추천받는 게 의외임
  HN에는 LLM이 전혀 추론하지 못하고, LLM은 다음 토큰 예측기라는 렌즈로만 설명해야 한다고 보는 사람이 놀라울 만큼 많았기 때문임. 지난번 LLM 지능을 이야기했을 때도 누가 무례하게 LLM 작동 방식을 공부하라며, 이미 정확히 어떻게 돌아가는지 알고 있고 그냥 토큰 예측기일 뿐이라고 했음

  • 그 “놀라운 공백”이 바로 LLM이 추론하지 않기 때문에 생긴다고 봄. 적어도 인간이 문제를 풀 때 생각할 대상에 대해 추론하는 게 아니라, 글 속 토큰 관계에 관한 자주 상관된 다른 사실 집합을 다루는 것에 가까움
    실패 양상이 그 차이를 가장 선명하게 보여줌. LLM 출력은 사후에 인간이 외부 의미를 부여하는 순간에야 우리가 보통 말하는 의미에서 의미를 가짐. LLM은 횡설수설을 넣어도 작동을 멈추거나 “혼란”스러워하지 않음. 추출하는 의미가 인간이 부여하는 의미에 의존하지 않기 때문이고, 우리가 횡설수설이 아니라고 보는 것들을 먹여 우연히 그 둘을 맞춰놓았을 뿐임. “실제로 어떻게 작동하느냐”라는 점에서는 별개의 문제임
  • 가장 목소리 큰 사람들은 극단적인 입장에 있는 경우가 많아 보이고, “특정 AI가 특정 영역에서 무용한가/초인적인가” 같은 질문도 마찬가지임. 단순한 인식일 수도 있지만, CGP Grey가 말했듯 논쟁 자체가 그들을 오래 살아남게 하는 것일 수도 있음: https://www.youtube.com/watch?v=rE3j_RHkqJc
    중간 입장에 있으면 양쪽 극단 모두에게 공격받음. “유용한 도구지만 망가질 길도 많이 보인다”는 정도의 생각이 이 주제에서는 오버턴 창 밖에 있는 것처럼 느껴지는 이상한 위치임. 산업혁명 시기의 직조기에 대한 실제 일상 담론은 어땠을지, 현대의 요약 말고 진짜 분위기가 궁금해짐
  • 둘 다 동시에 참일 수 있음. 맞음, LLM은 다음 토큰 예측기지만, 때로는 그걸 올바르게 하려면 앞의 모든 내용을 실제로 이해하고 논리적으로 추론해야 함
    Sutskever가 했다는 말처럼, 모델 입력이 범죄소설 대부분이고 다음 토큰이 범인의 이름이라면, 그 모델은 소설을 이해한 것임. Transformer는 임의 함수 근사기이므로 무엇을 할 수 있고 없는지에 대한 단단한 한계는 없음
  • “다음 토큰 예측기”와 지능적이라는 말은 실제로 상호 배타적이지 않다고 봄

• 최근 논의 https://news.ycombinator.com/item?id=42285128와 매우 관련 있음
  Google은 더 나은 칩 설계를 조금이라도 내놓으려면 사전훈련 사용이 핵심 요구사항이라고 주장함. 그리고 사전훈련을 시도하지 않은 반박 논문은 칩 설계 최신 수준보다 훨씬 낮을 것으로 예상됐어야 한다고 주장함
  칩 설계에서 추론이 중요하고, 대형 언어 모델에서 추론을 끌어내는 데 사전훈련이 중요하다면, Google의 논리는 상당히 합리적임. Google이 사전훈련을 쓰고도 최신 수준을 겨우 이겼다면, 사전훈련을 하지 않은 시도는 현재 최신 수준보다 훨씬 낮을 것으로 예상하는 게 맞음. 따라서 그 두 번째 시도의 낮은 성능은 Google 결과가 그럴듯한지 여부를 말해주지 못함

  • 그 글의 특정 응용 분야 전문가는 아니지만, 사전훈련 논거가 왜 타당할 수 있는지는 알겠음. 신경망 사전훈련이 소량 예시 학습 성능을 높인다는 말은 별로 논쟁적이지 않음
    모든 문제에는 사전훈련된 신경망이 수작업 특징이나 강한 사전 가정처럼 데이터 요구량이 적은 접근보다 더 나은 소량 예시 학습 성능을 내는 변곡점이 있을 것 같음. 다만 여기서의 질문은 그 변곡점에 이 사례가 도달했는지 여부로 보임

• “극단적인 경우, 추론 질문에 답하는 언어 모델은 사전훈련 데이터 안의 제한된 문서 집합에 영향을 받은 매개변수 지식에서 검색하는 데 크게 의존할 수 있다. 이 경우 검색될 정보, 즉 추론 흔적을 담은 특정 문서가 모델 출력에 크게 기여하고, 많은 다른 문서는 미미한 역할만 한다”
  “반대로 스펙트럼의 다른 끝에서는, 모델이 질문과 더 추상적으로 관련된 넓은 범위의 문서에서 끌어오며, 각 문서는 여러 질문에 비슷하게 영향을 주지만 최종 출력에는 비교적 작은 양만 기여할 수 있다. 우리는 일반화 가능한 추론이 후자의 전략처럼 보여야 한다고 제안한다”
  그런데 모델이 단 하나의 예시에서 일반화할 수 있다면 그게 훨씬 더 인상적인 것 아닌가?

• 공감됨. 사실보다는 추론 훈련 데이터가 더 중요하다는 쪽임. 비합성 데이터 중 가장 쉽게 얻을 수 있는 건 아마 수학 증명일 것 같음
  Prolog 같은 것을 쓰면 여러 대체 추론 경로를 생성할 수 있음. 이런 다중 경로가 LLM 훈련에 도움이 될지는 거대한 기계에 접근해 직접 실험해보지 않으면 말하기 어려움. 그게 너무 불공평함

• 이 결론은 문외한으로서 이해한 AlphaGo 대 AlphaZero와 비슷한가? 인간의 절차적 지식이 어느 지점까지는 기계학습 훈련에 도움이 되지만, 그 이후부터는 제한이 된다는 식인가?

  • 아님. 분석한 모델이 훈련 데이터에서 동일한 수학 문제의 답을 담은 문서보다, 수학 문제를 어떻게 푸는지에 관한 정보를 주로 사용했다는 말임
    “우리는 어떤 데이터가 모델이 생성한 추론 흔적에 영향을 주는지, 그리고 그 데이터가 다루는 특정 문제와 어떤 관련이 있는지 조사한다. 모델이 이전에 본 사전훈련 데이터에서 답을 단순히 ‘검색’해 재조합하는가, 아니면 더 견고한 일반화 전략을 쓰는가?”
    “추론 질문에서 상위 문서들을 정성적으로 특징지어보면, 영향력 있는 문서들이 공식이나 코드를 사용해 해답을 얻는 방법을 보여주는 등 절차적 지식을 담는 경우가 많음을 확인한다. 우리의 결과는 모델이 사용하는 추론 방식이 검색과 다르며, 비슷한 형태의 추론을 수행하는 문서들에서 절차적 지식을 종합하는 일반화 가능한 전략에 더 가깝다는 점을 나타낸다”
    예시 추론 질문: “Prompt Calculate the answer: (7 - 4) * 7 Think step-by-step.”

• 이 말은 LLM이 학생 노트, 시험, 서평 같은 대량 자료로 훈련되면 더 잘할 수 있다는 뜻인가? 그렇다면 정말 흥미로울 듯함

  • 가끔 왜 AI 시스템을 교육과정에 게임과 놀이를 더해 훈련하지 않는지 궁금했음
    전 세계의 다양한 교육 시스템을 써보면 무엇이 나오는지 보는 것도 매혹적일 수 있음

• 바보 같은 질문일 수 있는데, 그렇다면 왜 생성한 이미지는 악몽 같은 헛소리가 되는 걸까? 왜 절차적으로 다이어그램을 구성하지 못하는 걸까?