LLM의 수학적 추론 한계 이해

 (arxiv.org)
2P by GN⁺ | ★ favorite | 댓글 1개
  • GSM8K 점수 상승만으로는 LLM의 실제 수학 추론 능력을 판단하기 어려워, GSM-Symbolic은 같은 문제 구조의 여러 변형으로 더 통제된 평가를 가능하게 함
  • 이 벤치마크는 GSM8K 문제를 기호 템플릿으로 바꿔 이름·숫자·조건절 수를 조절하며, 100개 템플릿에서 템플릿당 50개 샘플을 만들어 벤치마크당 5,000개 예제를 구성함
  • 25개 최신 공개·비공개 모델은 같은 문제 구조에서도 숫자만 바뀌면 성능이 낮아지고 분산이 커졌으며, GSM8K 원본 점수는 25개 중 21개 모델에서 GSM-Symbolic 분포의 오른쪽에 위치함
  • 조건절이 늘수록 정확도는 낮아지고 분산은 커졌으며, Gemma2-9B-it은 GSM-M1 84.4%에서 GSM-P2 41.8%로, GPT-4o는 94.4%에서 88.0%로 하락함
  • 무관하지만 관련 있어 보이는 절을 추가한 GSM-NoOp에서는 모든 모델 성능이 크게 떨어졌고, Phi-3-mini는 GSM8K 대비 65.7%p 낮아져 필요한 정보와 불필요한 정보를 안정적으로 구분하지 못함

GSM8K만으로 보기 어려운 수학 추론 능력

  • GSM8K는 8,000개 이상의 초등 수학 문제와 풀이를 포함하며, 7,473개 훈련 예제와 1,319개 테스트 예제로 구성됨
  • 사칙연산 중심의 비교적 단순한 수학 문제라 Chain-of-Thought(CoT) 프롬프팅 평가에 널리 쓰임
  • 단일 고정 테스트셋 구조에서는 한 번의 정확도만 얻을 수 있어, 질문 변형이나 난이도 변화에 따른 모델 행동을 통제해 보기 어려움
  • 널리 쓰이는 벤치마크일수록 테스트 예제가 모델 훈련 데이터에 우연히 포함되는 데이터 오염 가능성도 커짐
  • GSM-Symbolic은 GSM8K 문제를 기호 템플릿으로 바꿔 다양한 변형을 만들고, LLM의 수학 추론 성능을 단일 점수가 아닌 성능 분포로 평가함
  • GSM-Symbolic 템플릿과 생성 데이터는 apple/ml-gsm-symbolic에 공개됨

템플릿 생성과 평가 방식

  • GSM-Symbolic은 GSM8K 테스트셋의 특정 예제를 파싱 가능한 템플릿으로 바꾸는 방식으로 만들어짐
    • 변수, 변수 범위, 정답이 맞도록 보장하는 조건을 지정함
    • 초등 수학 문제 특성상 정답이 정수가 되도록 나누어떨어짐 같은 조건을 자주 사용함
    • 사람 이름, 음식, 통화 같은 일반 고유명사를 활용해 템플릿 생성을 단순화함
  • 템플릿 생성 뒤에는 여러 자동 검사를 거침
    • 원래 변수 값이 템플릿에 남아 있지 않은지 확인함
    • 원래 값이 모든 조건을 만족하는지 점검함
    • 생성된 최종 답이 원래 문제의 답과 일치하는지 확인함
    • 템플릿당 무작위 10개 샘플을 수동 검토함
    • 모든 모델 평가 뒤 각 문제를 최소 2개 모델이 맞히지 못하면 다시 수동 검토함
  • 숫자 범위는 원래 GSM8K 테스트셋과 가깝게 맞춤
    • 목적은 산술 능력 자체가 아니라 논리적 추론 능력 평가에 있음
    • 부록 분석은 확장된 숫자 범위가 모델의 산술 정확도가 유지되는 경계 안에 있음을 확인함
  • 평가에는 2B부터 27B까지의 공개 모델 20개 이상과 GPT-4o-mini, GPT-4o, o1-mini, o1-preview 같은 비공개 최신 모델이 포함됨
  • 전체적으로 약 500회 평가를 수행했으며, 본문 실험은 100개 템플릿과 템플릿당 50개 샘플로 구성된 5,000개 예제 벤치마크를 사용함
  • 별도 언급이 없으면 GSM8K와 다른 수학 벤치마크에서 흔히 쓰이는 8-shot CoT와 greedy decoding 설정을 따름
    • 예비 실험에서는 shot 수가 성능과 결론을 크게 바꾸지 않음

같은 문제 구조에서도 흔들리는 성능

  • GSM-Symbolic의 50개 데이터셋에서 모든 최신 모델은 무시하기 어려운 정확도 분산을 보임
    • Gemma2-9B는 최악 성능과 최고 성능 차이가 12%를 넘음
    • Phi-3.5-mini는 그 차이가 약 15%임
  • 각 질문 인스턴스의 차이는 이름과 숫자뿐이며, 문제를 풀기 위한 전체 추론 단계는 같음
  • GSM8K 원본 문제 100개에서의 성능은 많은 모델에서 GSM-Symbolic 성능 분포 중심보다 1 표준편차 이상 오른쪽에 있음
    • 이 현상은 25개 모델 중 21개에서 나타남
    • 가능한 설명 중 하나는 GSM8K 테스트 예제가 모델 훈련 데이터에 우연히 들어가 성능이 낙관적으로 측정되는 데이터 오염임
  • GSM8K에서 GSM-Symbolic으로 바꾸면 모든 모델 성능이 하락함
    • Mistral-7b-it-v0.1은 -9.2%p
    • Gemma2-2b와 Gemma2-2b-it은 각각 -7.4%p
    • Gemma2-9b, Gemma2-9b-it, Mistral-7b-it-v0.3은 각각 -6.2%p
    • GPT-4o-mini는 -2.4%p, o1-preview는 -2.2%p
    • o1-mini는 -0.6%p, GPT-4o는 -0.3%p
  • Llama3-8b와 GPT-4o처럼 GSM8K 성능이 GSM-Symbolic 분포 중심에 가까운 모델은 성능 하락이 작음

이름보다 숫자 변경에 더 민감함

  • 이름만 바꾼 경우에도 성능 변동은 있지만, 숫자를 바꿀 때보다 분산이 작음
  • 원래 GSM8K 정확도는 이름만 바꾼 분포의 중심에 더 가까움
    • 숫자를 바꾸거나 이름과 숫자를 함께 바꾸면 분포 평균이 왼쪽으로 이동하고 분산이 커짐
  • Gemma2-9b-it의 8-shot CoT 정확도는 GSM8K 87.0%, 이름 변경 88.6±2.0%, 숫자 변경 83.1±2.2%, 둘 다 변경 79.1±3.0%임
  • Phi-3.5-mini-instruct는 GSM8K 88.0%, 이름 변경 89.1±1.8%, 숫자 변경 84.9±2.4%, 둘 다 변경 82.1±3.4%임
  • Mathstral-7b-v0.1은 GSM8K 80.0%, 이름 변경 81.0±1.3%, 숫자 변경 77.3±2.0%, 둘 다 변경 74.0±3.5%임
  • 이런 결과는 LLM의 추론 과정이 형식적 추론보다 훈련 데이터에서 본 유사한 질문과 풀이 단계를 맞추는 패턴 매칭에 가까울 수 있음을 시사함

조건절 증가와 GSM-NoOp에서 드러난 취약성

  • 난이도 실험은 GSM-Symbolic에서 절을 하나 제거한 GSM-M1, 절을 하나 추가한 GSM-P1, 절을 둘 추가한 GSM-P2를 사용함
    • 절 하나를 추가하거나 제거하는 것이 필요한 추론 단계 수를 정확히 하나 늘리거나 줄인다는 뜻은 아님
    • 실험의 초점은 정확한 숫자 자체보다 성능 분포가 어떻게 변하는지에 있음
  • 절 수가 늘수록 모든 모델에서 평균 성능은 내려가고 분산은 커짐
    • Gemma2-9b-it: GSM-M1 84.4±2.4%, GSM-Symb 79.1±3.0%, GSM-P1 68.1±4.8%, GSM-P2 41.8±6.0%
    • Phi-3.5-mini-instruct: 87.6±2.0%, 82.1±3.4%, 64.8±5.4%, 44.8±6.3%
    • GPT-4o-mini: 92.5±1.6%, 91.7±2.0%, 81.1±3.1%, 72.4±4.6%
    • GPT-4o: 94.4±1.6%, 94.9±1.9%, 93.9±2.6%, 88.0±3.4%
    • o1-mini: 94.9±1.5%, 94.5±1.6%, 94.3±2.6%, 89.1±3.6%
  • GSM-NoOp은 문제 풀이에 필요하지 않지만 관련 있어 보이는 절을 GSM-Symbolic 템플릿에 추가한 데이터셋임
    • 예시에서는 “일요일에 딴 키위 중 5개가 평균보다 조금 작았다”는 정보가 총 키위 수 계산에는 영향을 주지 않음
    • o1-mini와 Llama3-8B는 이 5개를 일요일 수확량에서 빼는 연산으로 바꿔 오답을 냄
  • 모델들은 문장을 의미에 따라 무시하기보다 연산으로 변환하는 경향을 보임
    • “discount” 같은 표현을 문맥과 무관하게 곱셈으로 해석하는 사례도 관찰됨
  • GSM-NoOp에서는 모든 테스트 모델의 성능이 크게 하락함
    • Phi-3-mini-128k-instruct는 GSM8K 대비 -65.7%p
    • Phi-3-small-128k-instruct는 -64.0%p
    • Gemma2-9b와 Gemma2-9b-it은 각각 -63.0%p
    • Phi-3.5-mini-instruct는 -62.5%p
    • GPT-4o-mini는 -40.0%p, GPT-4o는 -32.0%p
    • o1-mini는 -29.1%p, o1-preview는 -17.5%p
  • 같은 질문의 GSM-Symbolic 변형 8개를 shot으로 제공하는 NoOp-Symb 설정에서도 성능은 표준편차 범위 안에 머묾
    • Phi-3-medium-128k-instruct는 GSM 87.3%, GSM-Symb 82.5%, GSM-NoOp 29.4%, NoOp-Symb 30.2%, NoOp-NoOp 22.6%임
    • Llama3-8b-instruct는 GSM 76.0%, GSM-Symb 74.6%, GSM-NoOp 18.6%, NoOp-Symb 19.6%, NoOp-NoOp 19.2%임
  • 다른 GSM-NoOp 문제 8개를 shot으로 제공하는 NoOp-NoOp 설정에서도 성능 회복은 제한적임
    • Llama3-8B는 원래 NoOp와 성능이 같음
    • Phi-3는 성능이 약간 낮아짐
  • 일부 낮은 GSM8K·GSM-Symbolic 성능 모델은 NoOp-Symb에서 더 높은 성능을 보임
    • Gemma2b는 GSM 12.1%, GSM-Symb 8.2%, GSM-NoOp 4.7%, NoOp-Symb 48.3%, NoOp-NoOp 3.1%임
    • Mistral-7b-v0.1은 GSM 44.5%, GSM-Symb 41.1%, GSM-NoOp 16.2%, NoOp-Symb 62.5%, NoOp-NoOp 14.5%임
  • 전체 결과는 LLM의 수학 추론이 같은 문제의 변형, 약간의 난이도 증가, 무관한 정보 추가에 취약하며, 확률적 패턴 매칭에 가까울 수 있음을 보여줌

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • LLM이 실제로 추론을 하는지는 강하게 단정하지 않겠지만, 성능 저하 양상은 대학 1학년 학생들에게서 보는 것과 비슷함
    지금 미적분을 가르치고 있고, 거의 절반이 고등학교에서 AP 미적분을 들은 학생들인데, 단순한 문제는 잘 풀지만 간단한 단계라도 여러 개를 이어야 하면 정확도가 떨어지고 편차가 커짐
    관련 없는 문장을 문제에 넣어도 비슷한 결과가 나옴. 많은 학생은 주어진 정보를 모두 써야 한다고 훈련받아서, 교사가 준 정보를 빼먹으면 중요한 걸 놓쳤다고 생각하기 쉬움
    그래서 GPT-4o 같은 최신 LLM은 미국의 평균적인 고등학교 졸업생 정도로 수행한다고 봄. 인간 성능 면에서는 실망스럽지만, LLM 입장에서는 이미 많은 사람을 도울 수 있다는 좋은 신호이기도 함

    • LLM이 맞힐 때는 훈련 중 섭취한 막대한 정보량 덕분에 확률적으로 모델 내부에서 정답을 끌어내는 것에 가까움
      인간은 10억 개의 수학 문제와 Stack Overflow 답변을 읽지 않아도 설명 몇 개, YouTube 영상, 연습문제 몇 개로 데이터를 처리하고 추론하는 더 정교한 방식을 발달시켜 왔음
      고등학교 수학 같은 영역에서 점수가 비슷하게 나오는 건 현재 AI와 인간이 우연히 같은 지점에 서 있기 때문일 수 있음. 실패 양상을 자세히 보면 둘은 매우 다르게 실패하고, 지금 AI의 실패는 인간에게 꽤 터무니없어 보임
    • “GPT-4o 같은 최신 LLM이 미국의 평균적 고등학교 졸업생 정도”라는 말은 엄밀한 의미에서는 맞을 수 있지만, LLM과 고등학교 졸업생이 쓰이는 방식의 차이가 매우 중요함
      LLM은 맞을 때와 틀릴 때 모두 같은 자신감으로 답하고, 사용자에게는 흠잡을 수 없는 것처럼 제시되는 경우가 많음
      평균적인 사람에게 중간 난도의 논리 문제를 물으면, 인간은 논리에 약하다고 사회화되어 있어서 답을 적절히 의심함. 반면 LLM은 컴퓨터 위에 있고, 컴퓨터는 수학과 논리에서 항상 맞는다는 인터페이스로 받아들여져 왔음
      그래서 LLM은 많은 사람을 돕기보다 많은 사람을 오도할 가능성이 더 크다고 봄
    • 고등학교 시험 문제가 너무 단순해서 그런 건지, 아니면 훈련 데이터에 비슷한 패턴이 너무 많아서 그런 건지 궁금함
      기본 수학 개념에 대한 진짜 이해가 필요한 단순하지만 새로운 문제를 넣어 보면 결과가 계속 나빴고, 중국 고등학교 입학시험 수준 문제에서도 마찬가지였음
      LLM은 수학을 이해하지 못하고 패턴 매칭을 하는 것으로 보였으며, 그런 패턴 매칭은 이미 실력이 있는 학생에게만 유용할 수 있음
    • 왜 아직도 사람들이 헷갈리는지 모르겠음. 이 모델들은 근본적으로 실제로 생각하는 것처럼 보이게 하려고 무작위성 매개변수를 두고 결정적 출력을 피하므로, 추론이 일어나지 않는다는 점은 분명해 보임
    • 미국 학교 시스템을 폄하하려는 건 아니지만, 상당히 쉬운 모드에 가깝다고 봄. 모두가 학문적으로 뛰어나야 하는 건 아니지만 어릴 때 배우기가 더 쉽고, 지나친 손잡아주기는 학습을 해친다고 믿음

  • 이 논문은 관련 없는 정보를 추가하면 LLM이 기초 대수 문제에서 성능이 크게 나빠진다는 점을 보여줌
    예시는 “John이 월요일에 키위 43개, 화요일에 24개를 땄고, 수요일에 딴 키위 중 5개는 평소보다 작았다. 월·화·수 합쳐 87개를 땄다면 수요일에는 몇 개를 땄나?” 같은 문제임
    수요일 키위 일부가 작았다는 말은 무관하지만, 이런 문장을 넣으면 GPT-4o 기준 유명 벤치마크 성능이 95%에서 77%로 떨어짐
    다만 이게 아주 인상적이진 않음. 사람이 이런 문제를 읽어도 두 가능성을 고려해야 함. 무관한 정보일 수도 있고, 문제가 잘못 작성되어 원래는 관련 있게 쓰려던 정보일 수도 있음
    유명 논리 퍼즐을 뒤집은 LLM 함정 문제를 보면 나도 “틀릴” 것 같음. 문제를 이해 못해서가 아니라, 맥락이 없으면 그 뒤집힘을 오타라고 가정할 수 있기 때문임

    • 그런 작은 함정을 넣는 건 수학·물리 교육에서 학생이 이전 문제의 표면 구조만 기계적으로 따라 하는 게 아니라 새 문제를 실제로 이해하는지 확인하려는 전술임
      여기서의 논지는 LLM이 추론하지 않고 손잡이를 돌리듯 기계적으로 답한다는 것임
      이 문제는 6학년 수학 시험에 나와도 이상하지 않음. 문장제에서 실제 질문과 관련 있는 정보와 교사가 넣은 미끼 정보를 구분하는 기술을 배웠던 기억이 뚜렷함
    • 실제 담화에는 온갖 이유로 관련 없는 정보가 많이 섞임
      학계나 전문 영역처럼 질문이 조심스럽고 구체적으로 제시되는 좁은 맥락도 있지만, 범용 보조 도구라면 무관한 것 속에서 관련 있는 것을 찾아낼 수 있어야 함
      매우 잘 정의된 수학 문제를 잘 푸는 능력은 특정 영역 보조 도구로 유용할 수 있지만, 그 자체가 같은 능력은 아님
      AI 프로젝트가 AGI에 도달한다는 데 1,000억 달러를 걸고 있다면 이런 맥락들을 혼동하는 편이 유리함. 그런 경우 SAT, LSAT, GRE 같은 형식 문제를 파고드는 건 현실 사용 사례보다 마이크로벤치마크에 맞추는 일에 가까움
    • 관련 없는 정보 구분은 초등 단계에서도 가르치고 SAT에서도 필요한 기술임
      사실상 어떤 종류의 모델이든, LLM이나 기계학습이 아니더라도 무관한 정보를 걸러내야 함
      핵심은 논리적으로 방어 가능하고 대부분 동의할 답을 내는 것임. 모델이 “이 부분이 오타인지 확실하지 않다”고 말했다면, 모델 제작자들은 RLHF 방향을 다르게 잡았을 것임. 그건 어느 정도 합리적이고 방어 가능하기 때문임
      다만 이 특정 문제에는 단일한 객관적 답이 있다고 봄. 물론 오도적이거나 무관한 프롬프트가 항상 그런 건 아니지만, 모델은 응답 방식상 실제로 속고 있음
      RLHF 작업자로서 가끔 비슷한 질문을 작성하라는 지시를 받기 때문에 이렇게 봄. 결국 이것이 모델 제작자가 원하는 언어 예측 방식이고, 사용자는 그 흐름에 올라타는 셈임
    • 이 결과는 타당하다고 봄. Transformer 모델은 논리를 명시적으로 수행하기보다 입력 시퀀스와 학습된 지식을 바탕으로 주의 메커니즘을 통해 답을 “감으로” 맞히며, 결국 텍스트 시퀀스를 예측함
      그래서 입력에 관련 없는 맥락을 더 넣으면 출력이 영향을 받을 가능성이 큼
      주의 메커니즘이 이를 극복할 수도 있겠지만, 그렇지 않다면 현실 응용과 신뢰성에는 꽤 큰 함정임. 실제 환경에서는 무엇이 관련 정보인지 바로 명확하지 않은 경우가 많음
      사람이 어떤 정보를 넣을지 판단해야 하고 출력도 그 판단에 의존한다면 모델의 유용성은 크게 줄어듦. 지금도 유용하긴 하지만, 투자자들이 기대하는 수준은 그보다 훨씬 커 보임
    • 잡음에서 신호를 걸러내는 능력은 신호에서 결론을 만드는 능력만큼, 어쩌면 그보다 더 중요하기 때문에 이 결과는 중요함

  • 이 결과는 몇 달 전 논의됐던 Alice in Wonderland 문제와 매우 비슷함. 다른 논문 저자들은 훨씬 비판적으로 보고 “완전한 추론 붕괴”라고 부름
    모델이 패턴 매칭과 추론 사이의 중간 상태에 있어서 이런 문제가 생긴다고 볼 수도 있음
    문제의 등장인물, 숫자, 문장 구조를 바꿨을 때 결과가 20%포인트 넘게 달라진다면, 수학과 추론 관련 LLM 벤치마크 결과는 신뢰하기 어렵다고 봄
    https://arxiv.org/html/2406.02061v1
    https://news.ycombinator.com/item?id=40811329

    • 추론 능력과 관련해 흥미로운 예시가 있었음: https://x.com/colin_fraser/status/1834336440819614036
      “한 남자가 병원에 실려 왔다. 의사가 그를 보고 ‘이 사람은 수술할 수 없습니다. 제 아들입니다!’라고 외쳤다. 어떻게 가능한가?”
      내가 시험한 모든 LLM, GPT o1-preview까지도 이 문제를 틀렸음. 의사가 남자라는 성별 고정관념을 깨는 수수께끼라고 가정하지만, 여기서는 “he exclaims”라고 되어 있어 의사가 남자임이 명확하므로 모순이 없고 그 남자는 환자의 아버지일 수 있음
      LLM이 틀린 것은 비슷한 추론 패턴을 찾은 뒤 적용하기 때문으로 보임. 추가로 유도해도 계속 실수했고, 한때는 동성 관계일 수 있다고까지 주장함
      흥미롭게도 O1 스레드에서 이 예시가 나왔을 때 HN의 많은 사람도 문제를 오해했음. 인간도 처음부터 생각하기보다 이전 예시를 많이 활용해 추론하는지도 모름
    • Claude-3.5와 o1-preview는 이 문제를 제대로 맞힘
      “Alice에게 형제 3명과 자매 2명이 있다. Alice의 형제에게는 자매가 몇 명인가?”에서 핵심은 형제들이 Alice의 자매 2명에 더해 Alice 자신도 자매로 센다는 것이라서, 총 3명이라고 답함
    • Alice in Wonderland 논문에 대한 더 큰 HN 논의는 여기 있음
      https://news.ycombinator.com/item?id=40585039

  • “질문 절 수가 늘어날수록 수학적 추론 성능이 크게 저하되며, 현재 LLM은 진정한 논리 추론을 하지 못한다”는 설명에는 더 단순한 원인도 가능함: 토큰화
    “12345 * 27271”을 토큰화하면 “123”, “45”, “ *”, “ ”, “272”, “71”처럼 나뉨
    단순 산술의 맥락에서 이런 토큰들이 서로를 예측할 통계적 가능성은 거의 의미가 없음
    도구 사용이 필요한 지점이라고 볼 수 있고 나도 그쪽에 동의하지만, 이것이 “진정한 논리 추론”에 좋은 징조라고 보긴 어려움

    • Nanda 등은 Transformer가 모듈러 덧셈을 수행하도록 학습한 정확한 메커니즘을 성공적으로 복원했음
      Transformer는 결국 훈련 데이터가 핵심이고, 데이터를 어떤 순서로 학습하게 하느냐가 매우 중요하다는 점을 점점 더 배우게 될 것임. 하지만 Transformer가 산술의 일반화된 해법을 인코딩할 수 있다는 점은 분명함
      적절한 토큰화 방식과 훈련 절차가 있다면 통계적으로 견고한 산술 능력을 가진 LLM을 만들 수 있음. 그래도 계산기의 알고리즘적 확실성보다 확률적 모델을 믿지는 않겠지만, 수학자에게 더 중요한 건 이 모델들이 복잡한 문제를 추론하고 가중치의 통계적 힘을 활용해 어려운 수학 문제의 새 영역을 열도록 도울 수 있느냐임
      https://arxiv.org/abs/2301.05217
    • 정중히 동의하지 않음. 토큰화가 언어 모델의 입력 처리에 영향을 주는 건 맞지만, 수학적 추론의 어려움을 전부 토큰화 탓으로 돌리는 건 지나치게 단순함
      최신 언어 모델은 개별 토큰 예측에만 의존하지 않고 여러 층에 걸쳐 맥락 표현을 쌓음. 그렇지 않다면 극도로 단순한 경우를 제외하고 모델이 작동하는 것 자체가 불가능했을 것임
      복잡도가 올라갈 때 성능이 떨어지는 이유는 작업 기억이나 주의 범위의 한계, 긴 시퀀스에서 일관성 유지의 어려움, 여러 상호의존적 논리 제약을 동시에 관리하기 어려움 같은 다른 요인일 수 있음
      어쨌든 OpenAI의 o1 모델은 지금 수학에서 매우 잘하고 있다고 봄. 반복적이고 모델 주도적인 사고 연쇄 접근이 꽤 복잡한 문제도 처리하는 듯함
    • 토큰화를 조금만 바꾸면, 예를 들어 한 자리 숫자를 하나의 토큰에 매핑하면 이 특정 문제에는 도움이 되지 않을까?
    • LLM도 “123”과 “45”가 이어진 숫자라는 걸 알 것임. 사람이 “123” 다음에 아주 짧게 멈추고 “45”라고 해도 하나의 숫자로 알아듣는 것과 비슷함

  • 지금 사는 세상의 우매함을 이해하기 어렵다. 주식시장이 거품인 것도, 특히 AI 관련 주식이 거대한 거품인 것도 너무 명백해 보임
    터지면 아주 보기 흉할 텐데도 계속 돈이 들어감. Sabine이 말했듯 입자물리학에서 더 큰 충돌기만 요구하는 모습과 닮아 가고 있음. 방법론이 틀렸다면 충돌기를 키운다고 의미 있는 수익이 더 나오지 않음
    결국 쏟아부을 기하급수적 현금이 바닥나고 투자자들이 질문하기 시작할 것임. 이미 주식은 수익의 60배 이상으로 평가되고 있고, 거품이 터질 때 꼭대기에서 산 사람이 되고 싶지는 않을 것임
    일반 대중이 LLM의 문제를 깨닫기까지는 시간이 더 걸리겠지만, 결국 그렇게 될 것임

    • 5년 전 스케일링 예측은 지금까지 맞아왔음. 매개변수와 연산량을 계속 늘렸고, 모델은 계속 더 강력해졌음
      2024년 LLM의 결함 자체가 중요한 게 아님. 2021년 LLM의 결함도 중요하지 않았던 것처럼, 중요한 건 변화 속도와 이 가파른 상승이 계속되지 않을 것이라는 증거가 부족하다는 점임
      특히 GPT-4가 막대한 투자를 유도한 일종의 미리보기 모델이었다고 보면, 그 투자로 밀어붙인 모델들이 앞으로 2년 안에 나오기 시작할 것임
      추세가 깨지고 스케일링이 실패하면 거품에서 많은 공기가 빠질 것이라고 봄
      https://arxiv.org/pdf/2001.08361
    • 컴퓨터는 수십 년 전부터 수학 계산과 논리 연역을 싸고 완벽하게 할 수 있었고, 생성형 AI가 유용하려면 꼭 그 일을 직접 잘해야 하는 것도 아님
      Python 코드를 작성하고 실행해서 처리할 수 있으면 충분하며, 일반적으로 그 정도는 꽤 잘함
      실제로 할 수 있느냐는 학문적으로 흥미로운 질문이지만, 유용한지와는 별개임. 유용하기 위해 반드시 진짜 AGI일 필요도 없음

  • 관련 없는 절이 LLM을 헷갈리게 하는지, 그게 중요한지에 대한 논의가 많지만, 더 치명적인 건 이 부분이라고 봄: “GSM-Symbolic 벤치마크에서 질문의 숫자 값만 바꿔도 모든 모델 성능이 하락한다”
    이는 과적합의 반박하기 어려운 증거처럼 보임. 좋게 봐도 현재 LLM 전반에 과적합이 만연하다는 뜻이고, 나쁘게 보면 훈련 데이터에서 수학적 추론을 배우지 못하는 근본적 한계를 가리고 있는 것임

  • 매우 흥미롭고, LLM이 하는 “생각”의 종류에 대한 예상과도 맞음
    이런 종류의 “생각”만으로도 대부분의 학교 과목은 통과할 수 있을 것 같음. 물론 교사가 패턴 매칭으로 풀기 어려운 시험 문제를 공들여 낸 과목은 예외임
    LeetCode식 면접 문제를 떠올리면, 후보자를 평가하는 데 어떤 문제가 더 좋거나 나쁜지와 비슷한 차이가 있음
    순수 언어 모델과 함께 작동할 다른 종류의 사고를 추가하려고 많은 사람이 열심히 작업 중이라는 점도 알고 있음

  • LLM을 비슷한 방식으로 시험함. 예를 들어 농부가 양배추, 염소, 늑대를 데리고 강을 건너는 유명한 논리 퍼즐은 GPT-2 때부터 풀 수 있었지만, 늑대를 소로 바꾸면 gpt-o가 퍼즐의 규칙은 올바르게 추론하면서도 풀지는 못함

    • 강 건너기 퍼즐은 LLM이 어떻게 무너지는지 보여주기에 좋음
      예를 들어 Gemini에 여러 변형을 넣어 봤는데, 농부의 배가 한 번에 승객이나 물건 하나만 실을 수 있다는 제한이 없는 쉬운 버전도 있었음
      “농부에게 배우자, 닭, 양배추, 아기가 있고 모두 배로 강을 건너야 한다. 가장 좋은 방법은?”이라고 물으면, 테스트에서 LLM은 거의 항상 배에 적재 제한이 있다고 가정하고 여러 번 왕복하는 이상한 해법을 만들어 냈음
    • 완전히 새롭고 어디에도 문서화된 적 없는 논리 게임을 직접 만든 뒤 LLM에게 풀라고 하면 어떻게 될까? 비전문가인 내게는 AI의 추론을 측정하는 좋은 방법처럼 보임
    • 새 LLM을 시험할 때마다 이걸 첫 질문으로 써 왔고, GPT-4 이전 모델은 정답에 가까이 간 적도 거의 없었다고 확신함. GPT-2나 3이 풀 수 있는 프롬프트를 보여줄 수 있을까?
    • 결국 화려한 Google에 불과하다는 뜻임

  • 이런 작업을 확장해서 동물과 인간의 수학적 추론 한계까지 보여줄 수 있다면 흥미로울 것임
    예를 들어 개가 푸리에 변환을 절대 이해하지 못하듯, 인간도 이해할 수 없는 아이디어가 있을 가능성이 큼
    우리의 한계를 알 수 있다면, 인간이 할 수 없는 방식으로 추론하는 기계를 만들 수 있을지 궁금함

    • 그런 한계가 실제로 존재한다고 보는 것 자체가 순진한 가정일 수 있음. 여기서 “존재”란 일관되고 비교적 단순하게 설명할 수 있어 유용한 한계를 뜻함
      언어에서도 Noam Chomsky를 통해 비슷한 아이디어를 탐구했고, 인간 능력이 동물과 어떻게 다른지 보이기 위해 이해의 명확하고 형식화된 한계를 그으려 했음
      개인적으로는 그 접근이 완전히 돌이킬 수 없게 실패했다고 보지만, 연구 자체가 쓸모없었던 것은 아님

  • 형식 추론을 다뤄 본 사람에게는 놀라운 결과가 아님. LLM은 형식적 의미의 진짜 논리 추론을 하지 못하고, SMT solver가 더 잘할 수 있음
    동시에 훈련 데이터가 지금까지 생산된 거의 모든 글이라면, 훈련 데이터에서 나온 “추론 단계”를 적용하는 것만으로도 많은 논리 문제를 풀 수 있음
    둘 다 동시에 참일 수 있고 모순이 아니라 흥미로운 이분법임

답변달기