Paul Erdős는 1900년대 대부분을 살았던, 아주 유명하면서도 꽤 괴짜 같은 수학자였음
수학자들이 붙잡고 있는 문제를 찾아다니며 기록하는 습관이 있었고, 난도도 현재 학부생 숙제 수준부터 풀면 Fields Medal급인 문제까지 매우 넓었음
이 문제들을 하나로 묶는 핵심은, 지난 100년에서 가장 똑똑한 사람 중 하나가 즉답하지 못했다는 데 있음
요즘은 LLM으로 이런 문제들의 증명을 만들어 보며 벤치마크처럼 쓰고 있고, 새 모델이 나올 때마다 몇 개씩 더 풀리고 있음
수학자들 반응을 보면, 이번 Erdős 증명은 꽤 특별한 이정표처럼 보임
이전에도 여러 전문 수학자가 들여다본 문제였고, 나온 증명이 놀랍고 우아했으며 새로운 연결까지 보여줬다고 함
이전 ChatGPT의 Erdős 문제 풀이들은 대체로 덜 인상적이었고, 문헌 탐색에 가깝거나 비교적 쉬운데 방치된 문제를 푸는 수준에 더 가까워 보였음
프롬프트를 읽어보면 비정형적이어도 좋다는 식으로 밀어준 게 성공에 한몫했는지도 궁금해짐
[1] https://chatgpt.com/share/69dd1c83-b164-8385-bf2e-8533e9baba9c
기사에서 다루는 건 기존 미해결 문제를 푼 사례라서, 당연히 더 어려운 축에 속함
실제 대화는 이 프롬프트였음
인터넷 검색은 하지 말고, number theory and primitive sets 문제에 대해 자명하지 않고 새롭고 창의적인 증명이나 반증을 만들어 보라고 했음
완전한 unconditional proof 또는 disproof를 요구했고, 그런 주장은 비평범하고 창의적인 요소가 필요할 수 있다고 다시 강조했음
그리고 Thought for 80m 17s가 붙어 있었음 https://chatgpt.com/share/69dd1c83-b164-8385-bf2e-8533e9baba9c
5.5 Pro, Extended Thinking으로 돌려보니 17분 만에,
제안된 bound가 맞고 상수 1이 sharp하다고 하면서 w(a)= 1/alog(a)와 uniformly for every primitive A⊂[x,∞), ∑w(a)≤1+O(1/log(x))를 증명하겠다고 내놨음
요청받은 1+o(1)보다 더 강한 결론이라고 주장했음 https://chatgpt.com/share/69ed8e24-15e8-83ea-96ac-784801e4a6ec
과학 발전은 종종 한 분야의 기법 X를 다른 분야의 문제 Y에 가져다 쓰면서 일어났고, LLM은 이런 분야 간 연결에 인간보다 강한 듯함
한 사람이 알 수 있는 것보다 훨씬 많은 이론과 접근법을 알고 있고, 동료들 앞에서 바보처럼 보일까 걱정할 필요도 없기 때문임
내가 생각하는 reasoning도 바로 이런 것임
지식을 일반화하고 다른 도메인에 적용하는 능력임
지적 작업의 상당수는 사실 intellectual labor에 더 가깝고, 여러 정보를 한곳에서 조합하는 일임
이 작업에서는 LLM이 인간보다 훨씬 잘하며, 사람들이 전통적으로 이걸 창의성으로 잘못 분류해온 면도 있어 보임
실제로 나도 이런 식으로 써보고 있음
엄청난 돌파구를 만들었다고는 못 하겠지만, 백서로 써볼 만한 통찰 같은 건 몇 번 얻은 느낌임
여러 분야를 가로질러 상관관계를 붙여보는 과정 자체가 LLM 실험으로서 꽤 재미있음
문명은 left-brained/sequential/language based 방식으로 크게 밀어왔고, 컴퓨터와 AI는 그 정점처럼 보임
나도 어릴 때는 페이지 전체를 한꺼번에 읽는 식이었다가 어느 순간 단어별·줄별 읽기로 바뀌었고, 그 모드가 굳어졌음
대학 시절 한때는 내 수학 전공 영역에서 좀 더 깊고 넓고 비선형적인 인식이 열린 적도 있었는데, 그게 좌뇌 숙련인지 우뇌가 더 붙은 건지는 잘 모르겠음
LLM은 이런 순차적 사고에서는 분명 우리를 앞지를 것이고, 그러면 인간은 남은 right-brainness 쪽으로 더 밀고 들어가야 하는지, 아니면 AI가 거기까지도 더 빨리 도달할지 궁금해짐
한 분야의 기법을 다른 분야에 적용하는 대표적인 예를 보려면 Langlands project를 찾아보면 됨
AI는 내가 제일 좋아하는 이상한 협업자임
어떤 Erdős 문제들은 나중에 개발된 정교한 기법을 쓰면 사실상 거의 자명해지기도 함
내 교수 중 한 명은 Erdős와 공저한 사람이었는데, 한동안 미해결이던 Erdős 문제를 학부생 퀴즈 문제로 낼 수 있었다며 무척 자랑했음
이런 점에서 하나 덧붙이자면, 이미 그 문제들을 LLM에 거의 다 돌려본 상태임
그래서 이번 사례는 모델이 실제로 더 강해졌다는 증거로 보임
이전 세대 LLM은 이 문제를 못 풀었기 때문임
Tao 말로는 이 문제에 대한 기존 정석 접근은 막다른 길처럼 보이지만, 동시에 너무 당연해서 누구나 먼저 해보는 첫 단계였다고 함
그래서 이번 결과가 더 희망적으로 보임
비슷한 문제들에도 평가해볼 만한 새로운 접근선이 생겼기 때문임
이쯤 되면 GitHub repo 하나 만들어서, 미해결 dry lab 문제를 왕창 넣어두고 새 모델이 나올 때마다 전부 돌려보는 harness를 만들면 좋겠음
ChatGPT의 증명 원문은 사실 꽤 형편없었고, 전문가가 걸러서 무슨 말을 하려는지 이해해야 했다는 구절을 보니, 수학 논문 읽을 때 늘 드는 감정과 똑같음
이 문제가 60년 된 문제라면, 사실은 이미 간접적으로 풀려 있었고 모델이 여러 정보를 교차해 찾아낸 가능성도 있지 않나 싶었음
사이트를 보니 인간이 예전에 논의한 흔적은 거의 없고 최근 댓글도 GPT가 발견했다는 이야기뿐이라 더 그렇게 느껴졌음
60년 된 문제라면 더 오래된 토론이 있을 줄 알았는데, 내가 뭘 놓치고 있는지 궁금함
그래도 훌륭한 발견이고, 비슷하게 GPT로 다시 확인해볼 만한 문제들이 더 있을 듯함
인간도, 그리고 인간이 만든 기계도 대개는 축적적 방식으로 문제를 품
기존 토대 위에 계속 쌓아 올리다 보니, 바퀴를 다시 만들기 싫어하는 성향 때문에 사고방식에 갇히기 쉬움
그래서 순진한 LLM이 전문가들이 시도하지 않았던 접근을 냈다고 해도 그리 놀랍지는 않음
LLM은 이런 제한된 경우에 다른 접근법을 던져주는 역할로 꽤 유용할 수 있고, 꼭 정답일 필요도 없이 대안을 제시해 판을 흔들어주면 됨
다만 이 Erdős 문제가 실용적으로 무슨 가치가 있는지는 잘 모르겠음
LLM이 쓸모없는 물건이 아니라는 증거냐고 묻는다면, 그건 1928년에 숫자론에 수백만 달러를 투자해야 하냐고 묻는 것과 비슷하게 들림
당시라면 대답은 아니오, 그리고 내 사무실에서 나가라였을 것 같음
Hacker News 의견들
https://archive.ph/2w4fi
Paul Erdős는 1900년대 대부분을 살았던, 아주 유명하면서도 꽤 괴짜 같은 수학자였음
수학자들이 붙잡고 있는 문제를 찾아다니며 기록하는 습관이 있었고, 난도도 현재 학부생 숙제 수준부터 풀면 Fields Medal급인 문제까지 매우 넓었음
이 문제들을 하나로 묶는 핵심은, 지난 100년에서 가장 똑똑한 사람 중 하나가 즉답하지 못했다는 데 있음
요즘은 LLM으로 이런 문제들의 증명을 만들어 보며 벤치마크처럼 쓰고 있고, 새 모델이 나올 때마다 몇 개씩 더 풀리고 있음
이전에도 여러 전문 수학자가 들여다본 문제였고, 나온 증명이 놀랍고 우아했으며 새로운 연결까지 보여줬다고 함
이전 ChatGPT의 Erdős 문제 풀이들은 대체로 덜 인상적이었고, 문헌 탐색에 가깝거나 비교적 쉬운데 방치된 문제를 푸는 수준에 더 가까워 보였음
프롬프트를 읽어보면
비정형적이어도 좋다는 식으로 밀어준 게 성공에 한몫했는지도 궁금해짐[1] https://chatgpt.com/share/69dd1c83-b164-8385-bf2e-8533e9baba9c
실제 대화는 이 프롬프트였음
인터넷 검색은 하지 말고, number theory and primitive sets 문제에 대해 자명하지 않고 새롭고 창의적인 증명이나 반증을 만들어 보라고 했음
완전한 unconditional proof 또는 disproof를 요구했고, 그런 주장은 비평범하고 창의적인 요소가 필요할 수 있다고 다시 강조했음
그리고
Thought for 80m 17s가 붙어 있었음https://chatgpt.com/share/69dd1c83-b164-8385-bf2e-8533e9baba9c
제안된 bound가 맞고 상수 1이 sharp하다고 하면서
w(a)= 1/alog(a)와uniformly for every primitive A⊂[x,∞), ∑w(a)≤1+O(1/log(x))를 증명하겠다고 내놨음요청받은
1+o(1)보다 더 강한 결론이라고 주장했음https://chatgpt.com/share/69ed8e24-15e8-83ea-96ac-784801e4a6ec
https://chatgpt.com/share/69ed83b1-3704-8322-bcf2-322aa85d7a99
다만 이게 정말 맞는 증명인지는 판단할 수 있을 만큼 수학에 밝지 않음
과학 발전은 종종 한 분야의 기법 X를 다른 분야의 문제 Y에 가져다 쓰면서 일어났고, LLM은 이런 분야 간 연결에 인간보다 강한 듯함
한 사람이 알 수 있는 것보다 훨씬 많은 이론과 접근법을 알고 있고, 동료들 앞에서 바보처럼 보일까 걱정할 필요도 없기 때문임
지식을 일반화하고 다른 도메인에 적용하는 능력임
이 작업에서는 LLM이 인간보다 훨씬 잘하며, 사람들이 전통적으로 이걸 창의성으로 잘못 분류해온 면도 있어 보임
엄청난 돌파구를 만들었다고는 못 하겠지만, 백서로 써볼 만한 통찰 같은 건 몇 번 얻은 느낌임
여러 분야를 가로질러 상관관계를 붙여보는 과정 자체가 LLM 실험으로서 꽤 재미있음
나도 어릴 때는 페이지 전체를 한꺼번에 읽는 식이었다가 어느 순간 단어별·줄별 읽기로 바뀌었고, 그 모드가 굳어졌음
대학 시절 한때는 내 수학 전공 영역에서 좀 더 깊고 넓고 비선형적인 인식이 열린 적도 있었는데, 그게 좌뇌 숙련인지 우뇌가 더 붙은 건지는 잘 모르겠음
LLM은 이런 순차적 사고에서는 분명 우리를 앞지를 것이고, 그러면 인간은 남은 right-brainness 쪽으로 더 밀고 들어가야 하는지, 아니면 AI가 거기까지도 더 빨리 도달할지 궁금해짐
AI는 내가 제일 좋아하는 이상한 협업자임
어떤 Erdős 문제들은 나중에 개발된 정교한 기법을 쓰면 사실상 거의 자명해지기도 함
내 교수 중 한 명은 Erdős와 공저한 사람이었는데, 한동안 미해결이던 Erdős 문제를 학부생 퀴즈 문제로 낼 수 있었다며 무척 자랑했음
그래서 이번 사례는 모델이 실제로 더 강해졌다는 증거로 보임
이전 세대 LLM은 이 문제를 못 풀었기 때문임
그래서 이번 결과가 더 희망적으로 보임
비슷한 문제들에도 평가해볼 만한 새로운 접근선이 생겼기 때문임
이쯤 되면 GitHub repo 하나 만들어서, 미해결 dry lab 문제를 왕창 넣어두고 새 모델이 나올 때마다 전부 돌려보는 harness를 만들면 좋겠음
[1] https://github.com/teorth/erdosproblems
이 글도 그중 하나가 풀렸다는 이야기임
ChatGPT의 증명 원문은 사실 꽤 형편없었고, 전문가가 걸러서 무슨 말을 하려는지 이해해야 했다는 구절을 보니, 수학 논문 읽을 때 늘 드는 감정과 똑같음이 문제가 60년 된 문제라면, 사실은 이미 간접적으로 풀려 있었고 모델이 여러 정보를 교차해 찾아낸 가능성도 있지 않나 싶었음
사이트를 보니 인간이 예전에 논의한 흔적은 거의 없고 최근 댓글도 GPT가 발견했다는 이야기뿐이라 더 그렇게 느껴졌음
60년 된 문제라면 더 오래된 토론이 있을 줄 알았는데, 내가 뭘 놓치고 있는지 궁금함
그래도 훌륭한 발견이고, 비슷하게 GPT로 다시 확인해볼 만한 문제들이 더 있을 듯함
인간도, 그리고 인간이 만든 기계도 대개는 축적적 방식으로 문제를 품
기존 토대 위에 계속 쌓아 올리다 보니, 바퀴를 다시 만들기 싫어하는 성향 때문에 사고방식에 갇히기 쉬움
그래서 순진한 LLM이 전문가들이 시도하지 않았던 접근을 냈다고 해도 그리 놀랍지는 않음
LLM은 이런 제한된 경우에 다른 접근법을 던져주는 역할로 꽤 유용할 수 있고, 꼭 정답일 필요도 없이 대안을 제시해 판을 흔들어주면 됨
다만 이 Erdős 문제가 실용적으로 무슨 가치가 있는지는 잘 모르겠음
LLM이 쓸모없는 물건이 아니라는 증거냐고 묻는다면, 그건 1928년에 숫자론에 수백만 달러를 투자해야 하냐고 묻는 것과 비슷하게 들림
당시라면 대답은
아니오, 그리고 내 사무실에서 나가라였을 것 같음