테렌스 타오의 O1 분석

 (mathstodon.xyz)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 수학자 Terence Tao는 OpenAI의 새 GPT 계열 모델 o1을 연구 수학 과제에 시험해 보고, 이전 모델보다 유능하지만 최첨단 연구 문제에는 아직 부족하다고 평가함
  • 모호한 수학 질의에서는 관련 정리인 Cramer’s theorem을 찾아 만족스러운 답을 냈고, 이전 GPT의 환각성 답변보다 뚜렷이 나아짐
  • 어려운 복소해석 문제에서는 힌트와 유도가 많을 때만 올바른 풀이에 도달해, 핵심 아이디어 생성은 여전히 약한 것으로 드러남
  • Lean 형식화 실험은 문제 분해 자체는 합리적이었지만, Lean과 Mathlib 정보가 오래되어 코드 오류와 라이브러리 호출 신뢰성 문제가 남아 있음
  • Tao는 AI가 지루하고 검증 가능한 하위 작업을 먼저 채우고, 형식 증명 보조기와 결합될 때 수학 연구 생산성을 크게 높일 수 있다고 봄

GPT-o1에 대한 전체 평가

  • OpenAI의 새 GPT 계열 모델 GPT-o1은 LLM 실행 전에 초기 추론 단계를 수행함
  • Tao가 접근한 것은 프로토타입 버전이며, 이후 답변에서 현재 preview version으로 불리는 모델을 주로 실험했다고 밝힘
  • 전반적으로 이전 반복보다 더 유능하지만, 가장 앞선 연구 수학 과제에서는 아직 고전함

실험 1: 모호한 수학 질의와 Cramer’s theorem

  • 첫 실험은 과거에 수행했던 실험을 반복한 것임
  • 질의는 문헌에서 적절한 정리인 Cramer’s theorem을 찾아야 풀 수 있는, 모호하게 표현된 수학 질문이었음
  • 이전 GPT는 관련 개념 일부를 언급했지만 세부는 환각에 가까운 무의미한 답변이었음
  • 새 모델은 Cramer’s theorem을 식별했고, Tao가 보기에 완전히 만족스러운 답을 제공함

실험 2: 어려운 복소해석 문제

  • 두 번째 실험은 이전에 GPT-4에게 증명 작성 보조를 요청했던 어려운 복소해석 문제를 새 모델에 준 것임
  • 결과는 이전 모델보다 나았지만 기대에는 못 미침
    • 많은 힌트와 유도를 제공하면 올바르고 잘 작성된 풀이에 도달할 수 있었음
    • 핵심 개념 아이디어를 스스로 생성하지 못함
    • 사소하지 않은 실수도 발생함
  • Tao는 이 경험을 “완전히 무능하지는 않은 평범한 대학원생의 정적 시뮬레이션”을 지도하는 것과 비슷하다고 봄
  • 이전 모델은 “실제로 무능한 대학원생의 정적 시뮬레이션”에 가까웠기 때문에, 이번 모델은 개선된 수준으로 평가됨
  • 한두 번 더 성능이 개선되고 컴퓨터 대수 패키지와 증명 보조기 같은 도구와 통합되면 “유능한 대학원생의 정적 시뮬레이션” 수준에 도달할 수 있다고 봄
  • 그 수준에 이르면 연구 수준 과제에서도 상당히 유용해질 수 있음

실험 3: Lean 형식화 과제

  • 세 번째 실험은 새 모델에 Lean에서 한 형태의 소수정리를 다른 형태의 소수정리로부터 도출하는 작업을 시작하게 한 것임
  • 요구 사항은 증명 자체가 아니라, 문제를 하위 보조정리로 나누고 그 명제를 형식화하는 것이었음
  • 결과는 유망했음
    • 모델은 과제를 잘 이해함
    • 문제를 합리적으로 초기 분해함
  • 제약도 뚜렷함
    • 학습 데이터에 최신 Lean 및 수학 라이브러리 정보가 부족함
    • 코드에는 여러 실수가 포함됨
  • Tao는 이 정도 능력의 모델이 Lean과 Mathlib에 특화해 미세조정되고 IDE에 통합된다면 형식화 프로젝트에서 매우 유용할 수 있다고 봄

의미 검색과 창의적 전략 생성 실험

  • Tao는 2010년에 “multiplicative integral”의 올바른 용어를 찾지 못해 MathOverflow에 질문했고, 인간 전문가에게 만족스러운 답을 얻은 적이 있음
  • 같은 질문을 o1에 던졌을 때 완벽한 답을 반환함
  • 다만 해당 MathOverflow 게시물이 모델 학습 데이터에 포함됐을 가능성이 있어, 의미 검색 능력의 정확한 평가는 아닐 수 있음
  • 그래도 일부 의미 검색 질의에서는 고품질 답변 측면에서 질의응답 사이트와 동등한 수준을 보임
  • 또 다른 실험에서는 Tao가 최근 블로그 글의 앞부분을 제공하고, Erdos 문제의 기존 부분 진전을 완전한 해법으로 바꾸는 누락 요소를 찾게 함
  • 이 결과는 다소 실망스러웠음
    • 모델은 블로그 글에 이미 다시 적힌 최신 연구의 전략과 같은 전략을 제안함
    • 그 전략의 창의적 변형은 내놓지 못함
  • Tao는 LLM 도구가 무작위로 창의적 전략을 생성하는 능력은 조금 있지만, 이 측면은 아직 약하다고 봄

대학원생 비유에 대한 정정

  • Tao는 AI 도구의 능력을 평가하면서 인간 대학원생을 정적이고 1차원적인 “능력” 수준으로 분류할 수 있다는 잘못되고 해로울 수 있는 인상을 줬다고 정정함
  • 기존 연구 프로젝트에 기여하는 능력은 대학원 과정의 여러 측면 중 하나이며, 비교적 작은 부분이라고 봄
  • 창의성, 독립성, 호기심, 설명 능력, 직관, 전문성, 작업 윤리, 조직력, 사회적 기술 등에서 뛰어난 학생은 할당된 기술 과제에 능숙한 학생보다 더 성공적이고 영향력 있는 수학자가 될 수 있음
  • 인간 학생은 공부하는 동안 배우고 성장하며, 처음 어려워하던 영역도 몇 년 뒤 능숙해질 수 있음
  • 반대로 현대 AI 도구는 응답에 피드백을 일부 반영할 수 있지만, 개별 모델은 장기적 성장을 실제로 수행하지 못하므로 정적 성능 지표로 평가하는 것이 더 타당함
  • Tao는 인간 학생을 고정된 사고방식으로 판단하는 틀이 적절하지 않다고 사과함

연구 보조 도구로서의 효용과 비용 비율

  • Tao의 비교 기준은 전문가 수학자가 지휘하는 복잡한 수학 연구 프로젝트에서 하위 과제를 보조할 수 있는 정도임
  • 유능한 대학원생은 프로젝트에 적응시키고 감독하는 데 드는 순노력보다 더 가치 있는 기여를 할 수 있음
  • 최신 도구는 아직 유용한 출력을 얻기 위한 노력보다 적절히 프롬프트하고 검증하는 노력이 더 큼
    • Tao는 현재 비율을 대략 2x~5x로 표현함
  • 몇 년 안에 이 비율이 1x 미만으로 떨어질 가능성을 배제할 이유가 없다고 봄
  • 비율이 1x 아래로 내려가면 해당 분야에서 도구의 더 넓은 채택을 촉발할 수 있음
  • 일부 특정 하위 과제에서는 이미 비율이 1보다 낮다고 봄

    • 의미 검색

      • 데이터 형식 변환
      • 수학 연구 탐색을 돕는 수치 계산 코드 생성

Lean과 Mathlib에서 부족한 점

  • Tao의 실험에서 형식화 도구로 유용해지기 위해 가장 부족한 것은 최신 Lean과 Mathlib에 출력을 접지하는 방법임
  • Lean과 Mathlib은 매달 계속 진화함
  • 모델은 1년 이상 오래된 여러 버전의 Lean과 Mathlib에 학습된 것으로 보이며, 이 버전들이 서로 100% 호환되지 않는다고 봄
  • 그 결과 모델이 만든 문법과 라이브러리 호출은 신뢰하기 어려움
  • 하지만 현재 Lean과 Mathlib 상태를 아는 사람이라면 대부분의 작은 오류를 수동으로 고칠 수 있을 정도로는 근접함

검증 가능한 자동화와 형식 증명 보조기

  • Tao가 염두에 둔 주요 활용 사례는 수학자가 원칙적으로 많은 수작업으로 해결할 수 있는 문제를 더 빠르게 푸는 것임
  • AI가 먼저 지루한 단계를 채우고, 전문가 인간이 출력을 검토하는 방식임
  • 이 경우 AI가 진정한 독창적 사고를 보이지 않더라도 생산성을 크게 높일 수 있음
  • 현재 가능한 것보다 더 큰 규모의 연구 프로젝트도 가능해질 수 있다고 봄
  • 이러한 도구가 형식 증명 보조기와 통합되면, 수학적 명제의 증명을 제공해야 하는 과제의 정합성을 높은 신뢰도로 자동 평가할 수 있음
  • Tao는 이런 과제가 연구 수준 과제의 상당한 부분을 포함한다고 봄

수학 연구용 AI 도구 생태계 전망

  • Tao는 다양한 연구 과제를 처리하는 AI 도구 생태계가 등장하기를 기대함
  • 여기에는 문헌 검색, 증명 형식화, 짧은 하위 문제 해결 같은 작업이 포함됨
  • 현재는 매우 큰 범용 독점 LLM이 가장 많은 주목을 받지만, 언젠가는 추가 개선이나 특정 응용 미세조정에 필요한 데이터와 계산의 한계 비용이 과도하게 비싸질 수 있음
  • 연구 커뮤니티가 맞춤형 필요에 맞춰 개발한 더 가볍고 오픈소스인 모델과 데이터셋도 중요한 역할을 할 수 있음
  • 범용 모델은 더 좁은 도구들을 조율하는 사용자 친화적 인터페이스 역할을 할 수 있다고 봄

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • GPT가 Python처럼 Lean 증명 보조기에 더 많이 맞춰 튜닝되면, 연구 수준 수학에서 유용성이 커질 것 같음
    OR 관련 분야에서 일하는데, ChatGPT 4o는 OR 문헌을 충분히 흡수해서 여러 “문제 형태”에 대해 꽤 쓸 만한 혼합정수계획(MIP) 정식화를 내놓을 수 있음
    예를 들어 “점수에 따라 i개 아이템을 n개 버킷에 넣되, 각 버킷을 순차적으로 채우고 싶다” 같은 논리 문제를 주면 실제로 쓸 만한 수학 정식화를 뱉어내고, 보통은 조금만 고치면 됨
    논리가 깨질 수 있는 약한 정식화도 경고해줘서 함정을 피하는 데 엄청 유용함
    물론 MIP 최적화를 이해하지 못하면 이런 용도로 잘 쓰기 어렵고, GPT가 단계별로 추론할 수 있게 문제를 작게 쪼개야 하지만, 할 줄 아는 사람에게는 월 20달러가 충분히 값어치를 함
    HN에서 유료/좋은 LLM, 즉 Sonnet 3.5와 GPT-4o가 쓸모없다고 불평하는 경우는 대체로 LLM의 강점을 살리는 사용법을 모르거나, 과대광고 때문에 원샷 마법을 기대하거나, 정말 자기 분야와 맞지 않는 경우로 보임
    LLM의 강점을 활용하고 오류를 검증할 줄 아는 사람에게는 업무에서 상당한 레버리지가 됨

    • 유용성에는 전적으로 동의함
      HN과 인터넷 전반은 LLM이 “쓸모없다”는 반사적 깎아내리기와 잡담의 바다가 됐지만, 현실에서는 몇 주 동안 코드 한 줄도 직접 쓰지 않았음
      원하는 것을 문단으로 지정하고, 함정 주변을 안내받으며, 간단한 반복 루프로 동작하는 코드를 얻고 있음
      이건 완전히 학습된 기술이고, 모델과 특히 그 주변 도구는 필요한 기준선에 도달했음
      그냥 진득하게 배워서 일하는 법을 익히면 훨씬 생산적인 세계가 됨
      편집: https://aider.chat/ + 유료 3.5 Sonnet
    • 나도 OR 인접 일을 하지만, 4o로 MIP 정식화를 얻는 데는 훨씬 운이 없었음
      그럴듯한 답과 손에 잡히지 않는 수학 설명을 내놓지만, 방정식은 작동하지 않고 추론도 맞물리지 않음
      마치 증명이 이상한 수학 수업을 들으며 내가 멍청한가 싶어지다가, 알고 보니 교수가 탈출한 치매 환자였고 애초에 횡설수설이었다는 걸 알게 되는 느낌임
      어제도 o1에게 최대 유량으로 s에서 t까지 v를 지나는 단순 경로가 있는지 보게 했는데, 매우 설득력 있어 보이는 알고리즘이 근본적으로 망가져 있었음
      내 해법은 그 실패한 시도에서 일부 기법을 가져왔지만, 여러 번 힌트를 줘도 작동하는 답을 찾지 못했고 계속 s→t 유량만 찾으려 했으며 v→{s,t}가 핵심이라는 걸 깨닫지 못했음
      그 추론을 검증하는 일도 정신적으로 너무 피곤함
      미묘하게 틀린 답은 명백히 틀린 답보다 탐지·벌점 부여가 어려워서, RLHF가 추론을 흐리게 만드는 쪽으로 선택한 게 아닌가 의심될 정도임
    • 지금 MIP 과목을 가르치고 있어서, 학생들에게 내는 질문 몇 개를 4o에게 물어봤음
      x!=y를 어떻게 하는지, 배낭 문제를 어떻게 하는지 같은 기본 블록은 줄 수 있었지만, 교과서 암기가 아닌 조금이라도 흥미로운 질문을 던지면 어떤 모델도 맞지 않았던 것 같음
      어떻게 더 나은 답을 얻고 있는지 궁금함
      어쩌면 나는 답이 틀린 걸 보는 순간 버리고 직접 쓰기 때문일 수도 있음
      실제로 방금 x,y가 {1..9} 범위의 정수 변수일 때 x!=y를 정식화하고 설명해보라고 했더니, 제약식은 맞았지만 설명은 틀렸음
    • 나도 OR 일을 하는데, MILP 최적화에서는 완전히 반대의 경험을 했음
      연구 결과도 비슷한데, 올해 초 나온 큰 설문 논문에서 LLM은 교과서 문제에는 대체로 맞지만 복잡도와 새로움이 올라갈수록 점점 쓸모없어졌다고 나왔음
      결과는 좋게 봐야 상투적이고, 상세 작업으로 들어가면 오히려 오해를 부르는 교묘한 함정이 됨
      LLM에게 특정 제약이 뭘 하는지 물어보거나, 더 나쁘게는 독점적인 CPLEX 문법 설탕의 수학 모델을 설명하라고 해보면 수학, 문법, 설명 전부를 환각함
    • 반사적인 LLM 비난에 대한 좋은 반격은 “그거야말로 확률적 앵무새가 할 법한 말 아닌가?”임
      HN 일부는 말하는 개가 C 코드를 썼는데 버퍼 오버플로 오류가 있다고 무시할 사람들임

  • 2019년으로 돌아가서, Alexa 같은 것과 상호작용하는 경험이 “평범하지만 완전히 무능하지는 않은 대학원생에게 조언하는 것과 대략 비슷했다”는 글을 읽는다고 상상해보면 됨
    5년 만의 차이로는 놀라운 수준임

    • AI가 처음으로 크게 줄일 직업은 프로그래밍으로 보임
      특히 뛰어나지만 원격으로 일하는 개인 기여자가 위험해 보이고, 이 포럼에는 명백한 이해상충이 있음
    • 중요한 지점은 대부분의 사람이 “평범하지만 완전히 무능하지는 않은 대학원생” 수준의 지능에도 못 미친다는 것 같음
      평범한 과학 대학원생, 특히 그만두지 않고 졸업하는 유형은 우리 대부분과 비교하면 매우 인상적인 사람임
      “우리”에게 그런 수준의 지능을 하루 종일 보조자로 쓸 수 있다는 건, 토큰 비용만 감당된다면 엄청난 삶의 업그레이드임
    • 1950년으로 돌아가서 미래가 봇과 수학 숙제를 푸는 채팅이라고 읽는 장면도 떠올려보면 됨
    • 그래서 AI 시대는 과대광고가 아니라 매우 현실적이라고 봄
      Jensen은 AI가 iPhone 시대에 도달했다고 말했음
      앞으로 5~10년 안에 사람들이 어떤 정의를 붙이든 AGI나 ASI가 오지는 않겠지만, AI를 보조 지능 또는 증강 지능으로 부르는 편을 자주 선호함
      현재의 컴퓨터와 스마트폰 판매를 최소 5~10년, 또는 3~4번의 교체 주기 동안 밀어줄 만큼 가치는 제공할 것임
    • Terry는 LLM에서 그런 가치를 뽑아낼 수 있는 천재임
      평균적인 사람은 아직 그렇게 못 함
      모델에 프롬프트를 잘 못 넣기도 하고, 애초에 삶의 문제들이 텍스트 기반이 아니기 때문임

  • o1 모델은 정말 놀라움
    빠른 벡터 유사도 프로젝트에서 이미 고도로 최적화한 Rust 코드에 상당한 속도 향상을 얻었고, 꼼꼼한 벤치마크와 정확성 검증으로 확인했음
    그뿐 아니라 Jensen-Shannon 발산을 기반으로 한 새로운 통계적 의존성 척도를 다시 상상하고 개념화하는 데 도움을 줬고, 매우 잘 작동함
    정규화 상호정보량의 초고속 구현도 만들어줬는데, 원래 라이브러리에 넣고 싶었지만 15,000차원 이상 같은 큰 벡터에서 충분히 빠른 방법을 찾지 못했던 부분임
    처음부터 컴파일되는 완벽한 Rust 코드를 주지는 못했지만, VS Code의 컴파일러 경고를 붙여넣자 한 번 더 시도해서 모든 버그를 고쳤음
    반면 GPT-4o는 Rust 타입 오류, 수명/대여 오류 등을 고치느라 수십 번 걸리는 경우가 많았고, Claude 3.5 Sonnet은 이상하게 Rust에 관해서는 그냥 멍청했음
    성능 최적화와 비교적 버그 없는 코드만이 아니라, 창의적 문제 해결과 방대한 핵심 수학·알고리즘 지식 및 최신 연구 결과의 종합, 그리고 내가 이루려는 걸 이해하고 실제로 해내는 능력까지 합쳐져 있어서 진짜 게임 체인저처럼 느껴짐
    코드 파일 변경 diff는 여기 있음: https://github.com/Dicklesworthstone/fast_vector_similarity/...

    • 연 50만 달러를 주고 사람을 고용하는 이유의 상당 부분은 LLM이 아직 이해하지 못하는 거대한 기존 시스템과 함께 일하게 하기 위해서임
      그래도 작은 라이브러리를 최적화하고 빠른 함수를 구현하는 건 어떤 프로그래머의 도구 상자에서도 큰 개선임
    • 이제 관련짓고 참고할 수 있는 금액 숫자가 생겼음

  • o1에 대한 내 경험은 매우 달랐고, 내 기준으로는 “좋은 학부생” 수준이라고도 못 하겠음
    예를 들어 여기서 꽤 단순한 질문을 했는데 완전히 헷갈려 했음
    https://moorier.com/math-chat-1.png
    https://moorier.com/math-chat-2.png
    https://moorier.com/math-chat-3.png
    전체 대화는 여기 있을 것임: https://chatgpt.com/share/66e5d2dd-0b08-8011-89c8-f6895f3217...

    • 일화적이지만, 내게는 O1이 4o와 Claude 3.5 Sonnet보다 나빴음
      설상가상으로 더 느리고 말도 더 많음
    • LLM을 기하학으로 학습시키는 걸 생각해보면, 원천 자료의 많은 정보는 텍스트와 함께 있는 도형에 들어 있을 것임
      이 모델은 다중모달이 아니니 첨부 도형으로는 전혀 학습되지 않았을 수도 있음
      사람들이 기하학 문제 묶음과 해석학 문제 묶음을 확인해 차이를 비교해보면 좋겠음
    • 왜 이렇게 고객지원 상담원처럼 말하게 만들었는지 모르겠음
      여기서 이상적인 경험은 짧고 간결한 답이지, 장황하고 굽신거리는 답이 아님
    • 깎인 아이코시도데카헤드론의 부피 계산에서 오류가 무엇이었는지는 알아냈는지 궁금함

  • 내게 새로웠던 건 “경험이 평범하지만 완전히 무능하지는 않은 대학원생에게 조언하는 것과 비슷했다”가 그렇게 많은 분야에서 성립한다는 점임
    LLM으로 정리하고 이해하는 데 큰 가치를 얻었음
    내가 아주 잘 아는 영역에서는 작은 잡무를 엄청 많이 처리해줘서 도움이 됨
    Terence가 세 번째 실험에서 지적했듯이 문제를 쪼개면 작은 빈칸을 채우는 일은 꽤 탄탄하게 함
    다만 개념적 이해가 필요하고, 프롬프트 기술도 일부 들어감
    모르는 영역으로 들어갈 때는 프롬프트를 쌓아 올려야 함
    답이 알려져 있다면 작고 구체적인 것부터 파고들어 바깥으로 확장하고, 바깥에서 안으로 들어갈 때도 구체적이고 초점을 맞춰 시작하는 편이 좋음
    전혀 모르는 매우 복잡한 주제의 개념적 층위를 뚫고 들어간 뒤, YouTube 전문가·연구 논문·신뢰할 출처로 개념을 검증하는 데 써봤고, 놀라운 도구임

    • 내 경험도 같음
      LLM을 내가 직접 할 여력이 없는 발품을 팔아주는 인턴이나 주니어처럼 다룸
      감독하고 도와주며 실수를 확인해야 하지만, 결국 유용한 결과를 얻음
      태도 면에서는 인턴을 감독하거나 주니어를 멘토링해본 사람이 LLM, 특히 유료 모델에서 가치를 뽑아내기 쉬울 것 같음
      반대로 커리어 초기에 나도 그랬듯, 사람에게서 가치를 끌어내는 법을 모르는 노련한 외톨이 개인 기여자는 덜 잘 쓸 수 있음

  • “Terence Tao와 같은 창의적 수학적 도약을 할 수 있어야 한다”는 건 AI에게 꽤 높은 기준으로 보임
    프로그래밍 면접에서 면접관이 자기 팀이 몇 달 걸려 푼 문제를 설명한 뒤, 구글 없이 40분 만에 화이트보드에 그 해법을 못 쓰면 실망하는 상황과 비슷함

    • Terence Tao 같은 사람들과 일해본 경험상, 나는 그 수준에 전혀 못 미치지만 그들은 어떤 종류의 창의성이든 찾음
      뭐든 받아들이고, 꼭 “그들 수준”일 필요는 없음
      그가 쓴 내용을 읽고 내 경험에 비춰보면, 그런 묘사는 부정확하다고 봄
      올해 초 IMO에서 그가 한 강연에도 있었는데, 그는 일부 상호작용에 인상받았지만 여전히 어떤 종류의 창의적 불꽃이 빠져 있다고 느끼는 것임
    • 이처럼 높은 기준을 추론할 필요는 없음
      그가 실제로 한 말은 구체적임: “여기서 결과는 약간 실망스러웠다... 본질적으로 모델은 문제에 대한 최신 작업에서 이미 식별된 전략, 그리고 내가 블로그 글에서 다시 쓴 전략과 같은 것을 제안했지만, 그 전략의 창의적 변형은 제공하지 않았다”
      핵심은 그 블로그 글 자체가 ChatGPT 입력의 일부였다는 점임
      그 외에도 그는 앞으로 더 유용해질 미래를 예상하지만, 현재는 참고문헌 형식 정리와 간단한 “Hello World” 스타일 코드 작성에만 AI/ChatGPT를 쓴다고 분명히 말해왔음
      온라인에는 그가 연구에 ChatGPT를 항상 쓴다는 여러 주장이 있지만, 코딩 용도를 넘어서는 부분은 사실이 아닌 것 같음
      다만 “Terence Tao의 연구를 도울 수 있음”은 실제로 높은 기준이 맞음
    • 이건 Terence Tao만 관찰한 게 아님
      ChatGPT로 튜토리얼 코드보다 복잡한 프로그램을 짜거나 기본 블로그 글을 써보면, 창의성이 부족하고 코드 설계도 형편없음
    • 나도 맨 처음 든 생각이 정확히 이거였음
      현재 살아 있는 사람 중 가장 IQ가 높다고 볼 만한 사람이, 컴퓨터가 노벨상급 수학 추론을 내놓지 못한다고 해서 인상은 받았지만 완전히 만족하지 않는다면, 그 자체가 거대한 지표라고 봄
      그렇다면 수학 박사 1년 차는 어떻게 생각해야 할까
      Tao는 이전 글에서 사실상 “o1은 대학원생과 거의 비슷하다”고 하며 이 점을 우회적으로 다룬 것 같음

  • 인간도 사고의 사슬식 추론에서 이득을 볼 수 있다는 점이 흥미로움
    사실 수학을 공부하는 모든 학생이 관련 정의와 정보를 사용하기 전에 먼저 모두 떠올리도록 요구받으면 역량이 크게 늘 것이라고 봄
    현실에서는 교사와 수학자까지 포함해 그렇게 하지 않는데, 회상은 노력이 들고 우리는 문제를 푸는 데 필요한 것보다 더 많은 노력을 쓰기 싫어하기 때문임
    회상이 실패하면 정보를 찾아봐야 해서 더 많은 노력이 들고, 그래서 실제로는 그냥 “감으로 밀어붙이는” 강한 유인이 생김
    AI는 노력 낭비에 대한 감정적 장벽이 없어서, 타고난 능력 이상으로 더 나은 추론자가 됨

    • 시험에서 풀이 과정을 보이는 것은 일종의 “사고의 사슬” 추론과 비슷하지만 약간 다름
      둘 다 과정을 단계별로 쪼개게 해서 논리가 유지되고 중요한 단계를 건너뛰지 않게 함
      하지만 풀이 과정을 보이는 것은 올바른 절차를 증명하는 쪽에 가깝고, “사고의 사슬” 추론은 진행하면서 관련 정의와 개념을 떠올리게 해 더 깊은 이해를 보장함
      둘 다 감으로 밀어붙이는 걸 피하려는 목적이지만, “사고의 사슬”은 인간이 피하기 쉬운 회상 측면을 더 깊게 파고듦
    • 이 관점이 정말 좋음
      사고의 사슬이 LLM에 도움이 된다는 증거를 그렇게 많이 봤는데도, 나 자신에게 더 써볼 생각은 못 했음
      물론 이미 어느 정도는 하지만, 보통 LLM만큼은 전혀 아님
      어쩌면 그래서 글쓰기가 훌륭한 사고 방식으로 자주 칭송받는지도 모름
      글쓰기는 더 적은 노력으로 더 긴 생각의 사슬을 가능하게 함
    • 막힌 수학 문제를 풀 때는 모두가 이렇게 한다고 생각했음
      학교 수학이 아니라 대학 수준 수학을 말하는 것임
      가르칠 때도 항상 정의로 돌아가게 했음
      나는 수학 연구를 엄청 잘하지는 않았고 박사와 포닥을 한 뒤 그만뒀지만, 경험상 연구는 문제를 깊이 생각하고 무슨 일이 일어나는지 붙잡고 어떻게든 쪼개보는 일인 동시에, 그 문제와 관련해 아는 모든 것을 훑고 비슷한 문제를 찾아 아이디어를 훔칠 수 있는지 보는 일이었음

  • 독립적인 호기심 취미로 곧 수학 공부에 다시 돌아갈 생각이라 매우 기대됨
    이번에는 LLM에 기대어 공부할 수 있어서 엄청 재미있을 것 같음
    우연히 Terence Tao처럼 나도 교과서를 보며 더 잘 이해하려고 복소해석학 질문을 LLM에게 해왔음
    열린 형태의 수학 질문을 해석하고, 도움이 되며 관련 있는 멀리 떨어진 개념적 연결을 빠르게 찾아내는 능력은 놀라움
    Fields상 수상자인 Tao 교수는 당연히 현재 수학 LLM들을 “완전히 무능하지는 않은 대학원생” 정도로 내려다보지만, 내 현재 능력 수준에서는 그게 올려다볼 대상이라는 뜻임
    6개월 전 인상적이었던 예로, Klein 병 같은 비가향 다양체에서도 복소해석을 할 수 있게 어떤 정의를 완화할 수 있는지 물었고, 오랫동안 고민하던 문제였는데 LLM이 즉시 Cauchy-Riemann 방정식이 전역적으로 불일치하게 된다는 점을 파악했음
    어떤 의미에서는 CR의 임의적 부호 관례가 다양체 위의 방향을 정의하며, 다양체 방향을 뒤집는 것은 i를 -i와 바꾸는 것과 같음
    이건 LLM이 그렇게 보라고 제안했기 때문에 이제 이해하게 됨
    물론 이게 LLM의 독창적 사고는 아니고, 어딘가의 고도로 특화된 대학원 교재에 적혀 있을 수학일 것임
    하지만 나에게는 중요하지 않음
    어디서부터 시작해야 할지 거의 모르는 이런 질문은 LLM이나 박사급 분야 전문가 없이는 답하는 게 절대 불가능함
    이런 의미 수준 검색을 접근 가능하게 만드는 다른 도구는 없고, 매우 강력하지만 낯선 도구를 어떻게 가장 잘 활용할지 신중하게 생각하고 있음

    • 지구상의 거의 모든 교과서에 대한 일종의 의미 기반 전체 검색 엔진을 쓰는 느낌은 초능력 같음
      답을 찾은 정확한 교과서 참고문헌까지 짚어줄 수 있으면 더 좋겠음
    • 그 답이 맞는지 아닌지는 어떻게 알 수 있음?
    • 이런 성능을 어떻게 측정할지도 의문임
      벤치마크는 공략되거나 학습에 들어가고, 이런 종류의 질의에 대해 챗봇 아레나에 충분한 신호가 있을 리도 없음
      몇 달만 지나면 평균 사용자는 주요 모델 간 성능 차이를 구분하지 못할 것 같음

  • Terence Tao에게 전적으로 동의함
    이건 실제 진전임
    LLM이 추론을 모방하도록 학습할 수 있는 적절한 데이터가 있으면 성능을 개선할 수 있다고 늘 믿어왔음
    하지만 여전히 패턴 매칭이고, 이 접근이 진정한 일반화를 만드는 데는 그다지 효과적이지 않을 수 있다고 의심함
    그래서 o1이 일반 공개되면, 강화학습 단계에서 모델이 배운 “추론 프로그램”이나 “추론 패턴”을 넘어서는 충분히 새롭거나 복잡한 문제에서 지속적인 환각과 잘못된 추론을 보게 될 가능성이 큼
    https://www.lycee.ai/blog/openai-o1-release-agi-reasoning

  • 내게 o1 모델은 좋을 때와 나쁠 때가 갈림
    한편으로는 시도해본 날마다 NYT Connections 게임[0]을 풀었고[1], Claude Sonnet 3.5를 포함한 다른 모델은 못 했음
    반면 GPT-4o처럼 중요한 세부사항을 놓치고 환각함
    정답에 도달하려면 손잡고 고쳐줘야 하는 경우가 많아서, 때로는 그냥 내가 직접 하는 게 쉬웠겠다는 생각이 듦
    이번에는 답을 기다리는 데 20~60초가 걸려 더 나쁨
    o1이 뛰어난 영역이 내가 굳이 필요로 하지 않는 것들인지도 모르겠음
    나는 전통적 STEM이 아니라 소프트웨어 엔지니어링 쪽이고, o1은 아직 대기 시간을 정당화할 만큼 훨씬 낫지는 않음
    아직 탐색하지 않은 영역은 구현 계획이나 아키텍처 변경 계획에 쓰는 것임
    여기에는 더 나을 것 같지만, 맞는 문제를 던져봐야 함
    [0] https://www.nytimes.com/games/connections
    [1] https://chatgpt.com/share/66e40d64-6f70-8004-9fe5-83dd3653a5...

답변달기