수학과 이론 컴퓨터 과학의 10가지 진전

 (openai.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 최소 10년간 핵심 진전이 없던 공개 문제 10개에서 OpenAI의 차기 주요 모델 Astra 내부 버전이 새로운 결과를 생성했으며, 고차원 기하학부터 양자 복잡도와 격자 암호까지 폭넓게 다룸
  • 해법 탐색에는 Sol API 요금 기준 약 2,000달러 상당의 토큰이 사용됐고, 인간이 같은 모델로 논문을 준비한 뒤 모델이 각 논증을 Lean 인증서로 형식화함
  • 주요 성과로 비-sofic 군의 존재 증명, Connes 강성 추측의 반증, 영구행렬 계산의 산술 공식 하한 n⁴/log n, 일반적인 2인 양자 게임의 지수적 병렬 반복 정리가 포함됨
  • 구 포장과 이진·구면 코드의 경계를 개선하고, 최근접 벡터 문제의 다항식 배수 근사 난해성과 Ehrhart 부피 추측을 해결했으며 Erdős 문제 146·180·183에도 답함
  • OpenAI는 논문 준비와 Lean 형식화, 정확성에는 인간이 책임을 지지만 수학적 논증은 AI가 생성한 만큼, 이를 인간 저작으로 표시하지 않고 AI의 기여를 정직하게 귀속해야 한다고 밝힘

Astra가 생성한 10가지 결과

  • OpenAI는 과학자와 수학자의 발견을 가속하기 위해 ChatGPT for Academic Researchers를 통해 10만 명에게 자사의 최고 ChatGPT 모델을 무료로 제공하고, 개발 과정에서도 공개 연구 문제로 모델을 계속 평가함
  • 5월에는 미출시 모델 평가 중 발견한 Erdős 단위 거리 추측의 AI 생성 반증을 공개했으며, 이후 수학과 이론 컴퓨터 과학의 후속 연구로 이어짐
  • 선정된 문제들은 핵심 결과에서 최소 10년, 대부분은 그보다 훨씬 오랫동안 진전이 없었으며 각 분야의 수학 공동체에서 상당한 관심을 받아왔음
  • Astra 내부 버전이 해법을 찾았고, 전체 탐색 비용은 Sol API 요금 기준 약 2,000달러임
  • 10가지 결과는 다음과 같음
    1. 고차원 구 포장: 구 포장 밀도의 새로운 상한을 Cohn–Elkies 임계점까지 낮춤
    2. 이진·구면 코드: 지정된 최소 거리에서 이진 코드의 최대 크기 경계를 지수적으로 개선하고, 고차원 구면 코드에서도 유사한 결과를 얻음
    3. 비-sofic 군: 비-sofic 군의 존재를 확립하는 구성을 제시해 군론의 중심적인 공개 문제를 해결함
    4. Connes 강성 추측: 특정 군이 von Neumann 대수에 의해 유일하게 결정된다는 오랜 추측을 반증함
    5. 산술 회로 복잡도: 산술 회로와 공식으로 영구행렬을 계산할 때 새로운 하한을 얻었으며, 산술 공식 하한은 n⁴/log n 차수임
    6. 양자 병렬 반복: 일반적인 2인 양자 게임에 대한 지수적 병렬 반복 정리를 증명해 고전 복잡도 이론의 기본 원리를 확장함
    7. 최근접 벡터 문제: 포스트 양자 암호와 관련된 핵심 격자 문제에서 다항식 배수의 근사 난해성을 확립함
    8. Ehrhart 부피 추측: 무게중심만 내부 격자점으로 갖는 볼록체의 가능한 최대 부피를 모든 차원에서 결정함
    9. 다색 Ramsey 수: 다색 삼각형 Ramsey 수의 초지수적 하한을 얻어 Erdős 문제 183을 해결함
    10. 극값 그래프 이론 추측: 콤팩트성 및 퇴화 추측에 관한 결과로 Erdős 문제 146·180을 해결함
  • 앞선 단위 거리 추측 반증 이후 나온 연구로는 실수에서 합-곱 추측의 반례, 분해 소수와 Elekes–Rónyai 문제, SETH 아래 초상수 차원 최원점 쌍의 이차 시간 필요성, 실수 위 점-직선 교차의 통신 복잡도, Minkowski 격자의 반복 거리가 포함됨

연구 귀속과 수학 공동체의 역할

  • 수학 연구에 기여할 수 있는 AI 시스템의 등장은 기술 기업 하나만으로 답하기 어려운 문제를 만들며, OpenAI는 AI와 수학에 관한 Leiden 선언 서명자들을 포함해 AI의 영향을 우려하는 입장을 존중함
  • 결과가 만들어진 방식을 저자 표시와 기여 귀속에 정직하게 반영해야 함
    • AI가 전적으로 생성한 증명을 인간 저작으로 표시하면 시스템의 기여와 인간의 실제 지적 작업을 모두 왜곡함
    • 인간은 논문 준비와 Lean 형식화를 지원하고 정확성에 책임을 지지만, 수학적 논증 자체는 AI 시스템이 생성함
  • 수학 공동체가 결과를 검토하고 맥락을 부여한 뒤, 아이디어를 새로운 연구와 발견으로 발전시키기를 기대함
  • AI가 더 정교한 연구 협력자로 발전하는 가운데 과학자와 수학자가 각 분야의 미래를 탐색하고 정의하려면 폭넓은 접근성이 필수적임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 가장 큰 불만은 전체 실험과 구성에 대한 투명성 부족임. 이 10개 문제만 모델에 한 번씩 풀게 했다고 보기 어려우므로, 전체 실험 설계를 공개하지 않은 채 제시한 2,000달러는 P값 해킹처럼 오해를 부를 수 있음
    모델에 준 전체 문제 수, 포기하기 전까지 풀지 못한 비율과 비용, 문제별 시도 횟수, 작업 클러스터 접근 여부를 포함한 실행 환경 비용을 알고 싶음

    • AI 열풍 전에도 수학 교육에서는 문제와 해답 자체뿐 아니라 이를 찾도록 돕는 주변 발판(scaffolding) 이 중요하다는 논의가 있었던 것으로 기억함
    • 비용은 오히려 이 비판에 적합하지 않아 보임. 10개 문제에 100만 달러를 썼더라도 수학 연구자 10~20명의 1년 비용 정도인데, 같은 돈을 인간에게 지급해 동일한 결과를 얻을 수 있을지는 의문임
    • OpenAI나 다른 LLM 개발사와 무관한 연구자가 비슷한 성과를 낸 적이 있는지도 궁금함
      OpenAI가 유능한 조합론 연구자를 고용해 문제를 풀게 했고 모델은 부수적으로만 활용했을 가능성도 확인할 필요가 있음
    • 모든 사안을 의무적인 무작위 대조시험(RCT) 없이는 받아들이지 못하는 태도도 과도함. 비꼬려는 게 아니라, RCT를 연출하지 않고도 적절한 자기 회의는 가능해야 함
    • 전체 실행 비용을 공개하지 않은 것과 P값 해킹을 비교하는 건 부당함. 가격 보고 누락은 과학적 사기나 결과 조작과 전혀 다름

  • 더 놀라운 점은 이 글이 HN 첫 화면 최상단에도 오르지 않았다는 사실임. 이전보다 발전한 결과라 해도, AI가 수학과 컴퓨터과학에서 중대한 진전을 만든다는 발상에 이제는 별로 놀라지 않게 됐음을 보여줌

    • AI 발전을 심리적으로 받아들이지 못하는 사람들이 적극적으로 신고해 순위가 내려간 것임. Hacker News는 더 이상 엘리트의 사이트가 아님
    • 대상 독자인 학계 수학자 친구 여러 명은 제목이 새로운 성과 10건이 아니라 지난달 성과를 정리한 글처럼 보여 그냥 지나쳤다고 함
    • 기업별 이해관계와 오픈소스 여부 등으로 진영이 매우 심하게 갈려 있음
    • 그렇다면 AI 연구 자체는 어떨지 궁금함. OpenAI가 인간 직원을 자동화해 일자리를 없앨 단계에 가까운지도 물어야 함
    • 솔직히 이런 종류의 글에 조금 지친 상태임

  • AI의 영향력은 이제 부정하기 어려우며, 목표를 옮겨 세울 자리도 거의 남지 않았음. 다음에는 경기장 밖으로 옮겨야 할 정도임
    사람들이 빨리 부정에서 벗어나 이를 진지하게 다루기 시작할수록 좋음

    • 목표를 옮긴다는 비판은 이해하기 어려움. 과학은 발전하고 배우면서 기대치를 재조정하는 과정이며, 목표를 전혀 바꾸지 않으면 같은 성과만 반복하게 됨
    • 문제는 부정이 아니라 무관심임. 대다수는 관심이 없지만 Kim Kardashian에 대해서는 모든 것을 말할 수 있음

  • OpenAI가 진전을 이뤘다고 한 분야의 전문가는 아니어서 성과를 섣불리 폄하하고 싶지는 않지만, 블로그의 표현이 마케팅 목적으로 과장됐을까 우려됨
    이전에는 이 문제들을 안정적으로 푸는 계산적 접근법이 없었던 건 사실이지만, 이번 증명이 수학에 새로운 발상을 보탰는지 아니면 기존 문헌에서 적절한 도구 조합을 대규모 탐색한 것인지가 핵심임
    애초에 답이 직관적이고 증명도 가능해 보였지만 전문가가 시간을 들일 만큼 가치가 높지 않았던 문제인지, 아니면 본질적으로 어려웠으며 AI가 거대한 풀이기에 넣는 것 이상의 일을 했는지 알고 싶음

    • 인용 기록에서 돌파구 연구는 많이 인용되는 동시에 이전까지 함께 나타나지 않던 인용 계보를 연결하는 연구로 정의할 수 있음. 반면 평범한 점진적 연구는 이미 가까이 있던 기존 인용들을 조합함
      즉 혁신은 이전에 연결되지 않았던 사고와 분야를 잇는 정도로 상당히 구체적으로 측정 가능함. Puja Ohlhaver가 이에 관해 발표했고, 나도 지원한 실험을 진행했음: https://www.youtube.com/watch?v=guLDNMAOn24
    • 컴퓨터과학의 CVP와 회로 복잡도 문제는 최고 연구자들이 30~40년간 연구한 매우 중요한 과제이며, 그중에는 Turing Award 수상자도 있음. 해결했다면 여러 최고 권위 학회에서 최우수 논문상을 받을 만함
    • 단지 advanced라는 단어를 썼다는 이유로 마케팅 과장을 걱정하는 건 이해하기 어려움. 박사급 연구자들이 경력의 상당 부분을 이 문제들에 썼으므로 표현은 적절함

  • 초기 AI 급가속 전망 중 하나는 고급 수학의 미해결 문제를 푸는 시스템이 수학과 컴퓨터과학의 새로운 발견을 통해 소프트웨어 성능도 비약적으로 높인다는 것이었음
    지금 성과는 인간이라면 세계 상위 100~1,000명, 약 상위 0.00001% 에 해당할 최전선 수학 수준이며, OpenAI가 GPU 커널 문제를 고쳐 약 15% 성능을 개선한 것처럼 소프트웨어에서도 큰 발전이 나타남. 거대 모델이 작은 규모에서는 불가능한 수학·소프트웨어 공학 능력을 함께 얻는다는 점에서 둘은 규모 법칙과 지능의 일반화로 연결됨
    하지만 수학·과학 발견이 소프트웨어 성능 향상을 직접 열어줄 가능성은 예전보다 낮게 봄. 기술 기업도 수학 박사에게 순수수학 대신 소프트웨어 공학을 맡기며, 이들이 뛰어난 이유는 최신 학문적 발견보다 일반 지능 덕분인 경우가 많음
    따라서 모델이 좋아지고 있다는 증거이긴 하지만, 최전선 수학 혁명이 촉발하는 폭발적 급가속(foom) 직전이라고 보기는 어려움

    • 그렇게 보려면 모델이 학술 수학에만 명시적으로 과적합됐고 그 능력이 실용적인 소프트웨어 공학에는 전혀 전이되지 않는다고 가정해야 함. 그런 쪽에는 걸지 않겠음
    • 새로운 수학 발전을 세계 상위 100~1,000명 수준과 동일시하는 건 수학자가 실제로 무엇을 하는지 오해한 것으로 보임

  • 이름도 공개되지 않은 내부 AI의 능력은 인상적이지만, 인간 기여자 이름은 어디에도 하나도 없음. 누군가는 최소한 이 모델에게 커피라도 만들어줬을 것임

    • 결과는 차기 주요 모델인 Astra 내부 버전으로 달성됐다고 명시돼 있음

  • 수학자와 엔지니어의 급여까지 포함하면 이 연구의 총비용이 얼마였을지 궁금함

    • 사람이 계속 붙어서 돌봐야 했던 게 아니라면 급여 전체를 포함할 이유는 없음. 실행 환경과 프롬프트 설정, 결과 검증에 쓴 시간만 계산하면 되며, 모델 훈련비는 다른 용도에도 분산됨
    • OpenAI가 직원에게 주식으로 보상하니 숫자는 엄청나겠지만, 기반 시설과 훈련된 모델이 이미 있는 현재에는 그다지 의미 있는 수치가 아님. AI가 더 발전하지 않아도 이미 엄청난 파괴력을 가짐
    • 10개 돌파구의 증명을 생성한 비용은 Sol API 가격 기준 2,000달러 미만이라고 함
      https://x.com/polynoamial/status/2083470822258467194

  • OpenAI 같은 회사들이 이런 결과를 공개하지 않고 단순히 훈련 데이터에 포함하기 시작하면 어떻게 될지 궁금함

    • 순수수학을 비밀로 유지해도 산업적 가치가 거의 없고, 회사에는 모델 능력을 과시하는 용도뿐임. 현실적으로는 연구 비용 지원을 중단할 가능성이 더 큼
      비공개로 모델 개선에 쓴다는 뜻이라 해도 올바른 증명 몇 개가 주는 추가 이득은 미미할 것이며, 결국 모델에서 추출돼 외부에 알려질 가능성도 큼
    • 아직 풀리지 않았던 문제라 기존 해답 자체가 없었으므로 훈련에 넣는다는 표현이 무엇을 뜻하는지 불분명함

  • OpenAI 같은 곳은 전문가에게 사실상 수백만 달러어치 토큰을 쓰게 할 수 있을 것임. 하루 24시간 전체 연산 자원을 판매하는 게 아니므로 내부 비용은 대체로 전기료 수준에 가까움
    그런데도 연산 자원이 완전히 사용되지 않는다면 앞으로 지을 수많은 데이터센터가 정말 필요한지 의문이 생김

    • OpenAI에는 연구가 곧 마케팅이므로 충분한 예산을 배정했을 것임
    • 전체 출력량에 비하면 반올림 오차 수준일 가능성이 큼. 공개 모델의 사용량을 제한하면서 연구용 연산 자원을 확보하는 것이며, 데이터센터가 늘수록 제한도 줄일 수 있음
    • 강화학습 훈련은 연산 자원을 전부 사용할 수 있으므로 무엇을 기준으로 필요 없다고 하는지 모르겠음
    • 수학을 발전시킬 여유 연산 자원이 있었다는 사실로 데이터센터가 필요 없다고 결론 내리는 건 억지스러움. 오히려 이 소식에서 합리적으로 내릴 수 있는 결론은 더 많은 데이터센터가 필요하다는 것뿐임
답변달기