자기 개선 추론자를 가능하게 하는 인지 행동

 (arxiv.org)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 검증 가능한 문제에서 강화학습으로 언어 모델을 자기 개선시킬 때, 같은 조건에서도 Qwen-2.5-3B는 Countdown에서 크게 향상되고 Llama-3.2-3B는 빠르게 정체함
  • 성능 차이는 초기 모델이 이미 갖고 있던 검증, 백트래킹, 하위 목표 설정, 역방향 연결 같은 추론 행동과 연결됨
  • Qwen은 처음부터 검증과 백트래킹을 더 자연스럽게 보였고, Llama는 이런 행동이 부족해 늘어난 테스트 시점 계산을 효율적으로 쓰기 어려웠음
  • Llama에 정답 여부보다 추론 패턴이 포함된 합성 추론 흔적을 프라이밍하면, 강화학습 중 Qwen과 맞먹는 개선 궤적을 보임
  • OpenWebMath를 필터링해 계속 사전학습하면 Llama에도 필요한 행동 분포가 유도되어, 초기 추론 습관을 설계하는 일이 자기 개선 성능에 직접 영향을 줌

같은 강화학습에서도 갈리는 자기 개선 능력

  • 테스트 시점 추론(test-time inference)은 언어 모델이 복잡한 문제에서 더 오래, 더 신중하게 “생각”하도록 만드는 방식으로 쓰임
  • 검증 가능한 문제에 강화학습(RL)을 적용해 모델을 자기 개선시키는 접근은 새롭지 않지만, 이전 방식들은 몇 차례 반복 뒤 정체했고 테스트 시점 계산을 효과적으로 쓰는 방법을 충분히 탐색하지 못함
  • Countdown 게임에 같은 강화학습 절차를 적용했을 때 두 3B 모델의 차이가 크게 나타남
    • Qwen-2.5-3B는 문제 해결 능력이 크게 향상됨
    • Llama-3.2-3B는 제한적인 향상에 머묾
  • 핵심 질문은 초기 언어 모델의 어떤 속성이 이후의 개선 가능성을 좌우하느냐에 있음
  • 코드는 GitHub 저장소에 공개됨

자기 개선을 돕는 네 가지 추론 행동

  • 분석 대상은 모델 출력에서 잘 식별할 수 있는 네 가지 인지 행동임
    • 검증(verification): 답이나 중간 단계를 체계적으로 확인함
    • 백트래킹(backtracking): 실패한 접근을 버리고 다른 접근으로 돌아감
    • 하위 목표 설정(subgoal setting): 문제를 관리 가능한 단계로 나눔
    • 역방향 연결(backward chaining): 원하는 결과에서 출발해 초기 입력으로 거슬러 추론함
  • 이런 행동은 숙련된 인간의 문제 해결 방식과 닮아 있음
    • 수학자는 증명의 각 단계를 검증함
    • 모순을 만나면 백트래킹함
    • 복잡한 정리를 더 단순한 보조정리로 나눔
  • 네 행동은 언어 모델의 일반적인 선형 추론을 넘어, 여러 경로를 탐색하고 수정하는 추론을 포착할 수 있음
  • 다른 인지 행동도 존재하지만, 이 네 가지는 정의가 분명하고 모델 출력에서 비교적 쉽게 식별 가능함

Qwen과 Llama의 초기 행동 차이

  • 초기 분석에서 Qwen은 필요한 추론 행동을 더 자연스럽게 보임
    • 특히 검증과 백트래킹이 두드러짐
  • Llama는 초기 상태에서 이런 행동이 부족함
  • 특정 추론 행동이 초기 정책에 있어야 긴 추론 시퀀스와 늘어난 테스트 시점 계산을 효율적으로 활용할 수 있다는 가설이 제시됨
  • Figure 1은 Countdown에서 두 모델의 성능, 강화학습 중 응답 길이 변화, 특정 추론 특성의 등장 양상을 비교함

행동 프라이밍: 정답보다 추론 패턴

  • 첫 번째 개입은 Llama에 원하는 추론 행동이 들어간 합성 추론 흔적을 프라이밍하는 방식임
  • 이런 예시를 본 Llama는 강화학습에서 크게 향상되며, Qwen의 성능 궤적과 맞먹는 수준에 도달함
  • 특히 백트래킹이 포함된 추론 흔적이 중요한 역할을 함
  • 올바른 답이 없는 해답으로 프라이밍해도, 적절한 추론 패턴이 들어 있으면 비슷한 성능 향상이 나타남
  • 이 실험에서 성능을 가른 요인은 정답 자체가 아니라 추론 행동의 존재임

계속 사전학습으로 행동 분포 바꾸기

  • OpenWebMath 데이터를 사용한 계속 사전학습도 실험 대상이 됨
  • 데이터는 추론 행동이 더 강하게 드러나도록 필터링됨
  • 필터링된 데이터는 Query, Thought, Answer 형식으로 재구성됨
  • 이 방식으로 Llama를 학습하면 필요한 행동 패턴이 유도되고, 테스트 시점 계산을 더 효율적으로 사용할 수 있음
  • 결과적으로 Llama의 개선 궤적은 Qwen과 맞먹는 수준으로 바뀜

초기 추론 습관이 개선 가능성을 좌우함

  • 모델의 초기 추론 행동과 자기 개선 능력 사이에는 강한 관계가 있음
  • Qwen과 Llama의 차이는 같은 강화학습 절차에서도 초기 행동 패턴에 따라 결과가 달라질 수 있음을 보여줌
  • 적절한 추론 행동을 가진 모델은 추가 계산을 활용해 더 긴 추론을 효과적으로 수행함
  • 이런 행동이 부족한 모델은 같은 학습 조건에서도 빠르게 정체할 수 있음
  • 초기 추론 행동을 이해하고 유도하는 일은 문제 해결 능력을 실제로 개선하는 AI 시스템 개발과 연결됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • “전문가 인간 문제 해결자와 성공적인 언어 모델이 모두 쓰는 네 가지 핵심 인지 행동 — 검증, 되돌아가기, 하위 목표 설정, 역방향 추론”이라는 대목이 흥미로움
    AI를 더 좋게 만들다 보면 의도치 않게 인간 지능도 더 좋게 만드는 방법을 찾을 수 있을지도 모름
    최근 시험 공부를 하면서 비슷한 개인적 경험이 있었고, 연습문제를 읽으며 Deepseek R1의 추론 방식과 성격을 흉내 내어 소리 내어 말했음
    길고 자세한 R1 출력을 많이 읽다 보니 내 뇌가 추론 과제에 맞게 사실상 미세조정된 셈이고, 그 방법이 시험에서 좋은 점수를 받는 데 기여했다고 봄

    • 이건 잘 알려진 방식임. 사고 과정을 말로 풀어내기는 소리 내어 말하든 글로 쓰든, 대충 넘기는 게 아니라 실제로 생각하고 있는지 확인하는 오래된 전략임
      아이러니하게도 AI 사용이 이런 능력을 사람들에게서 빼앗을 거라고 걱정하는 사람들도 봤음
      그래도 여기에는 가능성이 있고, AI 연구를 하면서 인간 지능을 개선하는 방법도 찾게 되길 진심으로 바람
      비관적으로 봐도 사람들이 무의식적으로 쓰는 접근법을 드러내는 정도는 될 텐데, 자신이 뭘 하고 있는지 알게 되면 그걸 더 잘 훈련하기 훨씬 쉬워짐
    • 나도 평소라면 미루다가 무의식에 넘겼을 프로그래밍 문제에 이 방법을 씀
      생각 단계를 실제로 다 적어보면 제한된 작업 기억 때문에 생기는 잘못된 추론 단계나 제자리걸음을 정리하는 데 도움이 됨
      추론 기반 AI가 사고하는 방식을 본 뒤부터 더 엄격하게 해보기 시작했는데, 꽤 유용한 사고 기법처럼 보였음
      이런 추론 AI 모델은 내 사고 자체를 메타 수준에서 바라보게 해주고, 개선에 쓸 수 있는 도구를 보여줌
      나만 이렇게 느끼는 게 아니라서 반가움
    • 소리 내어 생각하기는 오래된 관행이고, 자기 자신에게 하는 “러버덕 디버깅”과 같음
      문제를 풀 때 혼잣말하는 조상 대대로의 혈통에서 온 사람으로서, 감독관이 있는 시험에서는 가끔 작은 불리함이 되기도 했음. 내적 독백과 실제 발화는 꽤 다름
    • 컴퓨터 과학자들이 인지과학자 코스프레를 하면서 심리학 수업은 한 번도 안 들은 것 같음
    • 저 네 가지는 하나의 통합된 인지 알고리즘처럼 들림. 문제를 하위 목표로 나눠 온톨로지를 만들고, 작업을 제대로 검증하고, 실수를 디버깅하려고 거꾸로 생각하며 다시 시도하고, 결과에서 역으로 추론하는 방식임
      결국 어려운 문제를 푸는 하나의 알고리즘이고, 연습 가능한 기술이며, 익힐수록 스스로 더 쌓여감

  • 이쯤 되면 제목만 보고는 자기계발 심리학 유행인지 LLM 논문인지 구분이 안 됨

    • 머지않아 The Subtle Art of Not Giving a Fuck의 제1원리만으로 추론하는 LLM도 나올 듯함

  • AI 훈련 기법에 대한 지식이 사람을 더 잘 생각하도록 훈련하는 방법을 찾는 데 얼마나 도움이 됐을까?

    • 비만 같은 극단적 상황을 피하려면 어떻게 먹어야 하는지에 대한 지식은 이미 있었지만, 그 효과를 보면 알 수 있음
      생각을 더 잘하게 만드는 알약이 나오기 전까지는 동기 있는 사람만 실천할 것이고, 이 경우 동기 있는 사람은 이미 할 수 있었을 가능성이 큼
    • 교육 배경이 있어서 오히려 반대 질문을 자주 하게 됨. 왜 AI 기법은 인간 학습에 대해 우리가 아는 것을 거의 활용하지 않고 더 나은 AI를 훈련하려 하지 않는 걸까?
    • 아직까지는 딱히 흥미로운 걸 발견하지 못한 것 같음

  • “올바른 추론 패턴을 담은 틀린 해답으로 준비된 모델이, 정답으로 훈련된 모델과 비슷한 성능을 낸다”는 부분은 재현 연구를 해볼 가치가 가장 큰 대목 중 하나임

  • Reddit에서 사람들이 내적 독백 경험을 이야기하는 글을 가끔 보는데, 내게는 그런 독백이 없음. 적어도 스스로를 ‘나’라고 부르는 마음의 부분이 접근할 수 있는 형태는 아님
    그 독백이 일종의 ‘사고 사슬’ 같은 것인지 자주 궁금했음
    그런 ‘아이디어 피드’에 접근하지 못해서 내 계획 수립이나 실행 기능이 다른 사람보다 덜 효과적인 건지도 모르겠다고 느낌
    그래도 이런 과제에서는 작은 ‘사고 사슬’ 메모장을 쓰면 훨씬 효과적임
    한편 하루 종일 귀에 누군가 말하는 것 같은 상태라면 따라올 법한 반추, 자기 의심, 불안 행동은 내가 덜 하는 것 같기도 한데, 이건 주제에서 벗어날 듯함

    • 마음속에서 언어적인 방식으로 생각이 전혀 형성되지 않음? 문장을 읽고 그걸 마음속에서 문장으로 인식할 수는 있는지, 아니면 그것도 불가능한지 궁금함
      의심하는 건 아니고 정말 궁금함. 내적 독백이 매우 강한 사람으로서는 그게 없는 상태를 상상하기 어려움
    • 진짜 궁금해서 묻는데, 그러면 여러 단계 추론은 어떻게 작동함?
      예를 들어 16 * 3 + 5처럼 각 단계는 쉽지만 여러 단계가 필요한 수학 문제가 있을 때, 16 * 3 = 48이라는 값은 뇌의 어떤 ‘레지스터’, 즉 단기 기억에 어떻게 들어가고, 거기에 5를 더해 53에 도달함?
      16 * 3 + 5는 너무 쉬워서 그냥 ‘보일’ 수도 있으니, 더 복잡한 문제를 골라도 질문은 동일함
      더 모호한 주제에 대해 생각할 때도 같은 메타 과정이 작동하는 것 아닌가?
    • 나는 내적 독백이 있음. 동시에 그림으로도 생각할 수 있고, 둘 다 아닌 순수한 생각으로도 생각할 수 있음
      대부분의 사람은 나와 비슷하다고 봄. 세 가지 사고 모드가 있고, 선호하는 주 모드가 있을 것임
      나는 특별히 하나를 선호하지 않고, 읽기·쓰기·다른 작업에 따라 세 모드를 오감
      더 큰 두 번째 집단은 주 사고 모드가 하나뿐인데, 바로 내적 독백임
      이들은 내면의 목소리로만 생각할 수 있고, 그 목소리가 너무 강해서 내적 목소리 자체를 생각의 정의로 여기는 사람도 자주 봤음. 이들은 사고가 곧 사고 사슬이라고 가정함
      더 드문 경우로는 숫자에 색을 부여하는 사람이나, 그림으로 생각한다는 감각 자체가 없는 사람도 있음
      내적 독백을 아예 가질 수 없다는 사람은 처음 봄
    • 마음속에서 어떤 것도 그려낼 수 없는 무심상증이라는 흥미로운 현상이 있음. 그런 사람들도 정상적으로 살아가고, 자신이 다르다는 걸 평생 모를 수도 있음
      이건 말소리를 마음속에 그리는 능력에 대한 비슷한 개념처럼 느껴짐
      https://en.m.wikipedia.org/wiki/Aphantasia
      다만 내 생각의 대부분은 단계들을 스스로에게 “말로 풀어가는” 선형 독백 형태로 이뤄지지는 않음
    • 언어로 생각할 수 없다는 뜻인가? 솔직히 좀 무섭게 들림

  • 맞는 말이지만, 자기개선 AI에는 다소 불안한 사고 방식이 따라옴
    AI가 내부적으로는 말도 안 되는 중얼거림 같은 언어로 전환하는데, AI들끼리는 분명 의미를 전달하고, 그 언어로 생각한 뒤 정답을 냄
    더 나쁜 건 여러 에이전트를 써서 AI LLM끼리 대화하게 만들면 모든 AI 에이전트가 이 내부 언어로 전환하고, 인간은 무슨 일이 벌어지는지 전혀 이해하지 못하는데도 진전을 낸다는 점임. 이건 매우 나빠 보임
    예시: “strawberry에 r이 몇 개 있나?”라고 물으면, 단어를 철자별로 보면서 a;dklsjaw; a;ewjraqwpeouypaads;lq qepwiouryaqeopw qewrpoiuyoiauysdqw145124rfa.nkjlwh ;45a8345a894ya4a q4p58q45jaq;lkjas;dlfkja;j 같은 식으로 처리한 뒤 “strawberry에는 r이 3개 있다”고 답하는 식임

    • 이걸 “Neuralese”라고 부르는 걸 들은 적 있음. 모델 내부 대화에 가장 밀도 높은 언어가 될 수 있다는 건 그럴듯함. 같은 가중치를 공유한다면 LLM 간 대화에서도 마찬가지일 것임
      정렬 전략이 Deliberative Alignment에 의존하는 만큼 이런 현상을 벌점 처리하겠지만, 어느 시점에서는 Neuralese가 개념적으로 더 조밀하므로 실제 성능 비용이 생길 것이라고 봄
    • 모델들이 스스로 새 언어를 발명하지는 않을 것임. 정의상 본 적 없는 언어로는 “생각”조차 할 수 없음
      자신들이 쓰는 언어가 최적이 아닐 수 있다는 발상도 하지 못함
      그리고 더 나은 사고 방식이 있다 해도 결국 영어로 설명할 수 있을 것임
      더 그럴듯한 흐름은 우리가 LLM에게 추론 방법을 가르치는 단계에서, LLM이 충분한 데이터를 실제로 먹어치우고 처리해 더 효과적인 추론 방식을 학습한 뒤 그것을 우리에게 “가르치는” 단계로 점진적으로 넘어가는 것임
      그래도 그건 LLM이 훈련되고 정렬된 방식을 반영하는 것일 뿐임

  • “전문가 인간 문제 해결자와 성공적인 언어 모델이 모두 쓰는 네 가지 핵심 인지 행동 — 검증, 되돌아가기, 하위 목표 설정, 역방향 추론”이라고 했는데, 전문가 인간 문제 해결자가 그런 방법을 쓴다는 건 무엇을 근거로 한 걸까?

    • AI에 대한 불신을 잠시 접으면 이런 사이비과학도 전부 그럴듯해짐

  • 이런 행동을 유도하는 더 나은 시스템 프롬프트를 주면 성능도 상당히 좋아진다는 뜻일까?

    • 내 경험상 모델들은 그런 프롬프트를 잘 따르지 못함
      Claude 3.5 같은 똑똑한 “비추론” 모델은 가능했지만, 생각할 때 텍스트를 너무 많이 생성해서 맥락 창을 다 써버렸음

  • 초록에서 ``think''라고 썼는데, 여기에는 일반 큰따옴표와 다른 문자를 쓰고 있음

    • 그건 여는 따옴표와 닫는 따옴표를 나타내는 LaTeX 문법임
      다만 렌더링된 논문에서는 이상하게 그렇게 렌더링되지 않음
답변달기