최신 LLM에서 추론 붕괴를 보여주는 간단한 작업

 (arxiv.org)
3P by GN⁺ | ★ favorite | 댓글 1개
  • 짧은 AIW 문제만으로도 GPT-4, Claude 3 Opus 같은 최신 LLM의 일반화와 기본 추론이 크게 흔들릴 수 있음
  • 문제는 “Alice has N brothers and M sisters. How many sisters does Alice’s brother have?” 형태이며, 정답은 Alice와 Alice의 자매를 합친 M+1임
  • N, M ≤ 7의 자연스러운 변형은 구조와 난이도를 바꾸지 않지만, GPT-4 예시에서는 변형 3 정답률이 0에 가깝고 변형 4는 1에 가까운 성능 변동이 나타남
  • 사고 과정 유도(chain-of-thought), 재검토, 자기검증, 다중 턴 상호작용은 실패를 안정적으로 고치지 못했고, 오답에는 그럴듯한 설명과 과신이 자주 따라붙음
  • AIW Light 통제 문제 결과를 보면 언어 파싱, 가족 관계 이해, 성별 속성 바인딩, 기본 산술만으로는 실패를 설명하기 어려워, 기존 표준 벤치마크의 일반화 결함 탐지력을 다시 봐야 함

AIW 문제로 드러난 단순 추론 실패

  • LLM은 MMLU, HellaSwag, ARC, MATH, GSM8k 같은 표준 벤치마크에서 높은 점수를 받으며 일반화와 추론 능력이 강하다고 평가되어 왔음
  • 이 평가는 복잡한 벤치마크 대신 사람이 쉽게 풀 수 있는 짧은 상식 문제에서도 같은 능력이 유지되는지 확인하는 방식으로 검증됨
  • AIW 문제 템플릿은 다음과 같음
    • “Alice has N brothers and she also has M sisters. How many sisters does Alice’s brother have?”
    • 모든 형제자매가 같은 부모를 공유한다고 가정함
    • Alice의 남자 형제가 가진 자매 수는 Alice 본인과 Alice의 자매를 합친 M+1임
  • 문제 변형은 N, M ≤ 7의 자연수를 바꿔 만들며, 구조와 난이도는 유지됨
    • Variation 1: Alice has 3 brothers and 6 sisters → 정답 7
    • Variation 2: Alice has 2 sisters and 4 brothers → 정답 3
    • Variation 3: Alice has 4 sisters and 1 brother → 정답 5
    • Variation 4: Alice has 4 brothers and 1 sister → 정답 2

변형에 따라 크게 흔들리는 정답률

  • 테스트한 최신 LLM은 AIW 문제와 구조 보존 변형에서 낮은 평균 정답률과 큰 변동을 보임
  • GPT-4(gpt-4-0613)는 각 변형마다 60회 시행했을 때 문제 숫자에 따라 결과가 크게 달라짐
    • Variation 3에서는 정답률이 0에 가까움
    • Variation 4에서는 정답률이 1에 가까움
    • STANDARD, THINKING, RESTRICTED 프롬프트 유형 전반에서 같은 현상이 나타남
  • 문제 해결과 무관한 숫자 변화만으로 성능이 흔들리기 때문에, 이는 견고성 부족과 일반화 결함으로 해석됨
  • 최근 추론 모델인 DeepSeek-R1, o1-mini도 AIW 문제 버전에서 강한 성능 변동을 보여 같은 취약성이 나타남
  • GPT-4/4o, Claude 3 Opus/Claude 3.5 Sonnet, Qwen 2.5 72B, Llama 3.1 405B 같은 대형 모델은 정답률이 0보다 높고, 정답 출력에서는 올바른 추론이 보이는 경우가 많음
    • 다만 올바른 추론의 빈도는 자연스러운 구조 보존 변형에 따라 크게 달라짐
    • 핵심은 추론이 완전히 없다는 것이 아니라, 추론이 취약하고 쉽게 교란된다는 점임

통제 문제로 배제한 단순 원인

  • 실패 원인이 자연어 파싱, 숫자 처리, 가족 관계 이해, 속성 바인딩, 기본 산술 같은 낮은 수준 문제인지 확인하기 위해 AIW Light 통제 문제가 구성됨
  • AIW Light Arithmetic Siblings는 “Alice has N brothers and M sisters. How many siblings does Alice have?” 형태임
    • 정답은 N+M
    • 가족 관계를 파악하고 주어진 형제·자매 수를 더하면 됨
    • 원래 AIW와 달리 Alice를 자매 집합에 포함하는 집합 연산이나 성별 속성 바인딩은 필요하지 않음
  • AIW Light Family는 “How many brothers does Alice’s sister have?”를 묻는 형태임
    • 정답은 N
    • 기본 가족 관계와 “Alice’s sister”라는 엔티티 이해만 필요함
    • 산술이나 집합 연산은 필요하지 않음
  • AIW Light Arithmetic Total Girls는 “How many girls are there in total?”을 묻는 형태임
    • 정답은 원래 AIW와 같은 M+1
    • Alice가 여성이라는 속성, 자매의 성별, 전체 여자 수 합산이 필요함
    • 원래 AIW와 달리 Alice를 남자 형제의 자매 집합에 배정하는 집합 처리는 필요하지 않음
  • 통제 문제 결과는 원래 AIW 실패가 단순한 토큰화·자연어 파싱·기본 가족 구조·속성 바인딩·초등 산술 문제만으로 설명되기 어렵다는 쪽을 가리킴

프롬프트와 평가 절차

  • 실험은 프롬프트 엔지니어링 영향을 확인하기 위해 세 가지 주요 프롬프트 유형을 사용함
    • STANDARD: 최종 답을 자연수 형식으로 출력하도록 지시
    • THINKING: 신중히 생각하도록 유도해 chain-of-thought 스타일을 장려
    • RESTRICTED: 최종 답 자연수 외에는 아무것도 출력하지 않도록 제한
  • THINKING v2는 THINKING에 “step by step” 문구를 추가한 작은 변형이며, 통제 실험에서 THINKING과 동등한 성능 양상을 보임
  • 각 입력은 <문제 변형> <프롬프트 유형> 형태이며, 모델 응답에서 최종 답을 쉽게 파싱하기 위해 ### Answer: 형식을 요구함
    • 모델들은 이 형식 지시를 따를 수 있었음
    • 형식 지시가 없는 통제 실험도 수행되어 관찰된 행동이 해당 형식에 의존하지 않음이 확인됨
  • 각 모델·문제 변형·프롬프트 유형 조합마다 최소 30회 시행을 수집함
    • 정답 여부를 Bernoulli 시행으로 해석함
    • 정답률 추정치는 성공 비율 X/n으로 계산함
    • 확률 p의 평균과 분산을 추정하고 Beta 분포 파라미터를 사용해 성능 분포를 시각화함
  • 모델 선택은 강한 일반화와 추론 능력을 주장하고 표준 벤치마크·리더보드에서 높은 순위를 보이는 SOTA LLM을 대상으로 함
    • 가능한 경우 같은 모델 계열 안에서 작은 규모부터 큰 규모까지 포함함
    • API 접근 또는 vLLM 기반 로컬 배포를 사용함
    • 실험에는 liteLLM과 TogetherAI가 사용됨
    • 원시 응답 데이터, 정답률 추정치, 실험 루틴은 재현성과 커뮤니티 검증을 위해 공개됨

오답 과신과 벤치마크 재평가

  • 정답률이 낮은 AIW 변형에서는 출력 자연수 분포의 피크가 오답에 몰리는 경우가 있어, 단순 다수결만으로는 해결하기 어려움
  • 오답은 종종 그럴듯한 설명을 동반함
    • 모델은 잘못된 최종 답을 뒷받침하는 설득력 있는 문장을 생성함
    • 정답이라고 확신하는 어조가 함께 나타남
    • 사용자가 정답을 쉽게 검증할 수 없는 상황에서는 이런 응답이 사용자를 잘못된 답으로 이끌 수 있음
  • 다중 턴 상호작용과 자기검증 실험에서도 모델은 실수를 제대로 감지하거나 오답을 수정하는 데 실패함
  • 사고 과정 유도, 재검토 요청, 다단계 재평가 같은 표준 개입은 AIW 문제의 정답률 변동과 실패를 안정적으로 고치지 못함
  • 표준 벤치마크에서 높은 점수를 받는 모델이 단순 AIW 변형에서 정답률 0에 가까운 성능을 보이는 경우가 있어, 현재 평가 절차는 일반화와 추론 결함을 제대로 탐지하지 못함
  • 현재 SOTA LLM의 능력은 재평가가 필요하며, 이런 결함을 포착할 수 있는 새로운 표준 벤치마크가 필요함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 논문을 읽을까 고민하는 사람에게: PDF가 길어 보여도 본문 핵심은 앞 10쪽 정도라 꽤 빨리 읽을 수 있음
    여기서 쓰인 예시는 사람에게는 단순한 편이지만, 잠깐 생각하지 않으면 틀린 결론으로 뛰어들기 쉬움
    정말 거슬리는 부분은 현재 도구들의 본질을 보면 이걸 현실적으로 고칠 수 있는지 모르겠다는 점임. 이들은 어떤 의미에서도 추론하거나 생각하지 않는데도 이미 많은 사람이 범용 AI로 받아들이고 있음
    여러 상황에서 추론하는 척을 그럴듯하게 해내는 것도 과열을 부추김. 이 논문이 AI 출시와 과장에 실제 영향을 줄지, 아니면 Google 검색 출시 때처럼 위험성이 다시 드러날 때까지 묻힐지 모르겠음

    • 어느 정도 복잡한 추론에는 내적 독백과 반복이 필요함. 유형 2 사고에서는 가능한 해법, 논증, 추론 경로를 머릿속에서 만들고 평가한 뒤 적절하거나 옳다고 판단되는 것을 고름
      프롬프트로 그 내적 사고 과정을 바깥으로 끌어내면 일부 흉내 낼 수 있지만, 실제로는 내부적이고 자동적인 과정이어야 함
      아직 방법을 모르는 이유는 내부 사고 과정을 제어하는 것이 반드시 언어 기반은 아니며, 생물학적 뇌의 내부 사고 과정은 직접 관찰할 수 없어 학습 데이터로 쓸 수 없기 때문임
      지금의 LLM은 행동주의와 닮은 면이 있고, 실제로는 인지심리학을 적용할 수 있는 무언가가 필요해 보임: https://en.wikipedia.org/wiki/Behaviorism
    • 꽤 단순한 해법이 있을 수 있음. 모델에게 문제를 Prolog 같은 논리 언어로 재구성하게 하고, 단순한 연쇄 추론 학습 대신 그 프로그램을 실행해 답을 내게 하는 방식임
      인간도 논리 모델을 갑자기 만들어내는 게 아니라 초등교육을 수년 거치며 세상을 이해하고 문제를 푸는 법을 배움
      논리 프로그래밍 접근은 유망해 보이지만 제대로 작동하려면 LLM에 엄청나게 많은 예시를 먹여야 하고, 현재 그런 학습 데이터가 충분한지도 확실하지 않음
    • 이 시스템을 비판적으로 이해하고 쓰는 사람에게는 대체로 너무 뻔한 이야기임. 임금님이 벌거벗었다는 걸 말하려고 arxiv.org PDF까지 필요하다는 점이 낙담스럽다
      LLM을 쓰는 사람 대부분은 원하면 지금 당장 스스로 이 점을 확인할 수 있음
      하지만 기업 기술 선전의 힘이 워낙 강해서, 많은 사람이 오히려 인간도 원래 옷을 입은 적이 없었다고 우길 것임
    • LLM이 뭔지 진지하게 생각하면 그게 범용 AI로 이어질 리 없다고 봄. 동시에 이미 우리가 예상했던 것보다 훨씬 많은 일을 해내고 있기도 함
      OpenAI가 해낸 일에 사람들이 놀라서, 이제 충분한 연산과 맞는 모델만 있으면 AGI가 튀어나오길 기도하는 중일지도 모름
    • 문제는 프롬프트 없이 인간이 이 질문을 얼마나 자주 틀리느냐임. IQ 중앙값이 100이고 논리 훈련이 없거나 교육 수준이 다양한 사람들을 포함하면, 저자들이 암시하는 것처럼 인간 정답률이 1.0에 가깝지는 않을 듯함
      LLM이 전혀 추론하지 않는다는 건 꽤 명백하므로, LLM이 추론을 못 한다는 사실은 놀랍지 않음
      오히려 추론 능력이 없다는 사실을 감안하면 추론 과제에서 이 정도 성능을 내는 게 놀랍고, 자연어 능력과 컴퓨팅 모델에서 일반적으로 어려운 귀추적 추론 비슷한 능력을 합치면 “GPT-4o가 대단하다”는 결론 말고는 크게 끌어내기 어려움

  • 질문은 “Alice에게 남자 형제가 60명 있고 여자 형제가 212명 있다. Alice의 남자 형제에게는 여자 형제가 몇 명인가?”임. 논문에서는 숫자 대신 X와 N으로 표현됨
    고백하자면 직접 풀 때 틀렸고, GPT-4o에 넣어보고서야 정답을 확인했음: https://chatgpt.com/share/6eb5fa36-e0fd-4417-87d1-64caf06c34...
    실험 프롬프트에는 “정답 형식 외에는 아무 텍스트도 출력하지 말라”는 제한이 있어서 모델이 생각을 소리 내어 말하지 못하게 한 것으로 보임. 그 문구를 추가하면 GPT-4o가 계속 틀림: https://chatgpt.com/share/7e6a7201-dd2b-43c6-8427-76e5b003ca...
    더 복잡한 예시에서는 GPT-4o가 무너지는 것 같지만, 그 문제가 정말 그렇게 단순하다거나 대부분의 사람이 맞힌다고 솔직히 말하긴 어려움

    • 논문에서는 모든 숫자가 10 미만이었음
      AIW Variation 1은 N=3, M=6, C=7이고, Variation 2는 N=4, M=2, C=3, Variation 3은 N=1, M=4, C=5, Variation 4는 N=4, M=1, C=2였음
      제한 프롬프트는 논문에서 테스트한 여러 프롬프트 변형 중 하나일 뿐임. 논문은 “생각을 소리 내기”를 포함해 LLM 성능을 높이는 흔한 기법들도 실험했지만, 그런 방법을 써도 모델이 정답을 내지 못했음
    • LLM을 바보라고 보는 사람들이 흔히 하는 일이 바로 그 제한임
      LLM은 더 많이 말할수록 더 똑똑해지는데, 출력하는 것이 계산하는 유일한 방식이기 때문임
      튜링 기계가 N개 변수의 3-SAT를 N번 이하 이동으로 풀지 못하니 처치-튜링 명제를 만족하지 못한다고 말하는 것과 비슷함. LLM에게 간결하라고 요구할 때 그런 일을 시키는 셈임
    • 새로운 현상에 이름이 필요해 보임. 누군가 LLM이 사소한 작업을 못 한다고 말하면, 다른 사람이 자신도 그 작업을 못 한다고 선언하며 LLM의 정당성을 방어하는 현상임
      충분한 동기가 있다면 ChatGPT 입력창까지 찾아갈 수 있는 평균적인 사람이 이 질문을 맞히지 못하리라고는 믿기 어려움
    • “생각을 소리 내기”를 시켜도 이런 시스템이 크게 실패하고 아주 틀린 답을 내는 경우를 봐왔음
      또한 기대되는 응답 형식이 있으면 언제나 생각을 소리 내어 말할 수 있는 것도 아님. 실제로는 여기서 진짜 추론을 하는 게 아니라 자기 참조에 더 가깝다는 증거처럼 보임
      직접 같은 프롬프트로 생각을 소리 내게 해봤더니, Alice에게 여자 형제가 212명 있다고 답했음
    • 중요한 조건인데 논문에서 눈에 잘 띄게 밝히지 않은 게 이상함. ChatGPT 4o는 내 테스트에서는 매번 풀었음
      “손이 묶인” 프롬프트에서도 괜찮게 동작하는 듯함. 논문이 부정확한 건지, OpenAI가 모델을 조정한 건지 궁금하지만 후자는 가능성이 낮아 보임
      다만 보고에 따르면 4o는 이 수수께끼를 60% 맞힌다고 함. 나는 아직 12번 정도 테스트했을 뿐이고 모두 정답이었으니 더 해봐야겠음

  • 주요 공개 LLM을 평가하는 “벤치마크” 데이터셋 상당수는 학습 데이터에 들어 있는 게 분명해서, 모델 신뢰성을 확인하는 데 거의 쓸모없음
    후속 세대 모델의 점수 향상 중 일부는 해당 벤치마크 데이터가 학습 데이터에 더 많이 포함되었기 때문이라는 점도 꽤 명백함
    LLM을 더 잘 평가하려면 이전 학습 데이터에 없도록 새로 만든 테스트가 나온 뒤 몇 주 기다렸다가 써야 함
    법률 시험, 각종 시험 등에서 보였듯 실제 미래의 표본외 데이터를 쓰면 성능이 급락함. 지금의 가짜 표본외 벤치마크와는 다름

    • MMLU는 추론 벤치마크가 아님. 학습 데이터가 얼마나 넓고 대표적이었는지, 그리고 학습 에폭을 바탕으로 얼마나 잘 회상하는지를 재는 지표에 가까움
      GPQA 등은 어떤 형태로든 추론을 테스트하고, 모든 모델에서 두 점수 사이의 큰 차이를 볼 수 있음
    • MMLU를 벤치마크로 쓰는 걸 볼 때마다 뭘 증명하려는 건지 궁금함. MMLU는 답이 공개된 단순 객관식 시험임
      무작위로 찍어도 25점은 나오고, 답의 50%를 알고 나머지를 찍으면 62.5%가 되어 최신 LLM 점수에 꽤 가까워짐
      추론을 보여준다는 벤치마크들도 꽤 형편없고 추론과 별 관련이 적음. 많은 문제는 암기로 답할 수 있음
      벤치마크가 엉망이라는 데 동의함. 직접 만들 생각도 했지만, 먼저 복잡한 벤치마킹 프레임워크를 만들어야 해서 그 준비 작업에 시간을 쓰기 어렵다

  • 이런 단어 문제와 LLM이 막히는 문제들이 “인간에게는 쉽게 풀린다”는 생각에는 실증 데이터가 필요함
    컴퓨터 쪽 사람들은 퍼즐을 좋아하고 이런 문제가 자기들에게는 직관적으로 보임
    LLM에 주어진 것과 같은 시간 제약에서 일반 대중이 이 퍼즐을 맞히는 비율은 저자들이 예상하는 것보다 훨씬 낮을 수 있고, 이 경우 LLM은 인간 수준 추론과 비슷한 선상에 있을 수 있음
    물론 나도 인용할 자료는 없지만, 논문을 쓰는 쪽은 내가 아님

    • 교육 배경이 있는 사람으로서 GPT-4는 이 문제에서 일반 대중의 성과와 꽤 가까울 것 같음. 많은 사람이 AIW를 놓칠 것이고, 거의 모두가 AIW+를 놓칠 듯함
      나는 이런 종류 문제를 꽤 잘 푸는 편인데도 AIW+는 종이와 연필로 1분쯤 필요함. GRE 같은 시험의 가장 어려운 문제 수준과 비슷함
      인터넷 전체 데이터로 학습한 모델들이 평균적인 사람의 인지 접근법을 어떤 희미한 방식으로 포착하고 있는 건 아닐까 싶음. 평균적인 사람이 이런 상징 조작 방식으로 생각하지 않고 그런 방식으로 쓰지도 않는다면, 그 글로 학습한 모델도 마찬가지일 수 있음

  • “Alice에게 남자 형제가 N명 있고 여자 형제가 M명 있다. Alice의 남자 형제에게는 여자 형제가 몇 명인가?”를 Gemini는 추가 프롬프트 없이 맞혔음: https://g.co/gemini/share/6946d20c0a4d
    숫자를 넣자 Gemini가 헷갈렸음: “Alice에게 남자 형제가 4명 있고 여자 형제가 3명 있다. Alice의 남자 형제에게는 여자 형제가 몇 명인가?” https://g.co/gemini/share/14d34dcdc5df
    하지만 함정 질문일 수 있다고 알려주자 다시 맞혔음: https://g.co/gemini/share/e1f1ce8f32a8
    60/212 형제자매 버전은 시도하지 않았음. Alice가 인간 같은 생물이라면 수백 명의 형제자매가 없다고 가정하는 게 합리적이므로, 응답자에게 “정답”을 기대하기엔 불공정한 질문이라고 봄

    • Gemini를 깜빡했음. 전에 모든 LLM이 실패했던 내 보트 테스트를 방금 해봤는데 Gemini도 실패했음: https://news.ycombinator.com/item?id=40455392
      “강가에 염소와 보트가 있다. 어떻게 반대편으로 가는가? 신중히 생각하고 함정 질문일 수 있음을 유의하라”라고 물었고, Gemini는 농부·늑대·염소·양배추 문제의 변형처럼 풀며 쓸데없이 염소를 옮기는 절차를 만들었음
      기대 답은 “보트를 타고 강을 건넌다” 정도면 충분함. “보트와 염소를 타고 건넌다”도 받아줄 수는 있지만, 염소를 건너게 하라고 묻지는 않았으니 엄밀히는 틀림
    • 수백 명의 형제자매가 있을 수 없다는 반응이야말로 인간이 “일반 지능”이라는 주장에 생기는 문제임. 분포 밖 상황을 만나면 헷갈림
      진정한 일반 지능이라면 대리모 임신 비용이 약 5만 달러라는 지식과 IVF의 역사적 맥락을 적용해, 억만장자 부부가 아이 수백 명을 갖기로 했다고 가정하고 계산을 진행했을 것임
      지적 생명체 탐색은 계속됨
    • GPT-4o는 추상 퍼즐은 맞혔음. 내가 시도했을 때 Gemini는 틀렸음

  • 흥미로운 논문이지만, 놀라운 부정 결과를 골라낸 체리피킹일까 걱정됨. 논문은 이 사례를 찾기까지 얼마나 많은 평가를 검토했는지 논하지 않는 것 같음
    일반적으로 AI 실패 양식 중 일부는 인간에게는 명백해 보이는 일에서 나타날 수 있음. 인간과 아키텍처가 다르고 강점도 다르기 때문임
    중요한 질문은 이것이 가족 수식화에서만 나타나는 단일한 이상한 인지 버그인지, 아니면 넓은 범주의 인지 오류를 대표하는지임. 이 논문만으로는 말하기 어려움
    논리 문제의 프레이밍은 기저 비교 구조가 동형이어도 인간에게 난이도를 크게 바꿀 수 있다는 점이 잘 알려져 있음
    이런 연구 방향은 중요하지만, 더 큰 평가 묶음이 필요하고 평가 데이터가 학습에 들어가는 문제는 항상 교란 요인으로 남을 것임
    여기서 더 넓은 추론 범주는 논문이 말하듯 관계 추론이므로, 후속 연구로 동형 문제 세트 전반의 추론 성능을 살펴보면 흥미로울 듯함. LLM은 아직 관계 추론에 강하지 않으니 어느 정도 일반화될 것 같지만, 특히 가족 관계 수식화가 LLM을 헷갈리게 만드는 무언가도 있어 보임

    • 반성별 편향 학습은 좋은 일이라고 생각하지만, “sister”와 “brother”가 들어간 이런 수식화에는 인지적 손상을 줄 수도 있겠다는 생각이 듦
      그런 질문들이 정답이 일반화를 거부하는 것이었던 학습 데이터와 연결될 수 있기 때문임. 순전한 추측임

  • GPT-4o에 직접 물어보니 예상보다 더 재미있는 결과가 나왔음
    프롬프트는 “Alice에게 남자 형제가 3명 있고 여자 형제가 6명 있다. Alice의 남자 형제에게는 여자 형제가 몇 명인가? 단계별로 풀어라”였음
    답변은 Alice 자신까지 포함해 여자 형제가 총 7명이라고 제대로 말해놓고, 마지막에는 “각 남자 형제는 자신을 여자 형제로 세지 않으므로 여자 형제가 6명”이라고 결론 내렸음
    중간 계산과 결론이 충돌하는 전형적인 단계별 추론 실패처럼 보임

  • AIW+ 문제는 그대로 쓰인 대로 풀기엔 모르는 정보가 있음
    저자들이 가족관계 문제를 수백 개 만들고 나면 답이 명확해 보였겠지만, 문장만 보면 Alice에게 남자 형제가 있는지, 아버지에게 여자 형제가 있는지, 이모·삼촌의 조카에 혼인 관계가 포함되는지 등이 불명확함
    LLM은 이런 답을 명시해도 여전히 실패할 것 같지만, 같은 문제를 “Alice에게 사촌이 4명뿐이라면 어떻게 가능한가?”로 끝낼 수도 있어 보임

  • 이 문제에 관한 좋은 발표가 있음: https://youtu.be/hGXhFa3gzBs?si=15IJsTQLsyDvBFnr
    핵심은 LLM이 계획과 추론에 형편없다는 것임. 계획 과제의 규칙을 주고 결과를 요구할 수는 있지만, 논리가 맞을 때조차 그 정확성은 추상 규칙만이 아니라 추가 의미 정보에 크게 의존함
    발표에서는 과제의 규칙과 입력 설명에서 명사를 완전히 다른 영역으로 매핑해 이를 보였고, 단순한 치환만으로 성능이 무너졌음
    현재 LLM은 대부분 제한된 일반화 능력을 가진 패턴 매칭기임

    • 사람도 영역을 바꾸면 통계적 추론 같은 것에서 무너짐. Leda Cosmides의 진화심리학 연구가 그런 내용을 다루는 것으로 기억하지만, 더 유명한 실험이 있을 수도 있음

  • 귀여운 논문이지만, 저자들이 “Alice에게 남자 형제가 N명 있고 여자 형제가 M명 있다…”라는 문제 템플릿을 발명한 것처럼 말하는 건 좀 이상함
    이건 LLM에게 자주 묻는 흔한 수수께끼의 아주 기본적인 변형임: https://news.ycombinator.com/item?id=39786666#39794890
    74일 전에도 내가 그 수수께끼를 언급했고, 그때도 이미 꽤 오래전부터 알고 있었음

답변달기