GN⁺: FunSearch: LLM을 활용한 수학 과학 분야의 새로운 발견

FunSearch: 수학 과학에서 새로운 발견을 위한 대규모 언어 모델 활용

• 대규모 언어 모델(LLMs)은 개념을 결합하는 데 뛰어난 능력을 가지고 있으며, 읽기, 쓰기, 코딩을 통해 문제 해결을 돕는 유용한 도구임.
• LLMs가 때때로 사실이 아닌 정보를 "환상화"하는 경향이 있어, 검증 가능한 정확한 발견을 하는 것이 도전적임.
• FunSearch는 창의적인 솔루션을 제공하는 사전 훈련된 LLM과, 잘못된 아이디어를 걸러내는 자동 "평가자"를 결합하여 새로운 수학 및 컴퓨터 과학 솔루션을 탐색하는 방법임.

언어 모델을 통한 진화로 발견 추진

• FunSearch는 가장 높은 점수를 받은 아이디어를 발전시키는 진화적 방법을 사용하며, 이 아이디어들은 자동으로 실행 및 평가될 수 있는 컴퓨터 프로그램으로 표현됨.
• 사용자는 문제를 코드 형태로 작성하고, 이는 프로그램을 평가하는 절차와 초기 프로그램 풀을 초기화하는 시드 프로그램으로 구성됨.
• FunSearch는 반복적인 절차로, 각 반복마다 현재 프로그램 풀에서 일부 프로그램을 선택하여 LLM에 제공하고, LLM은 새로운 프로그램을 생성하여 평가함.

수학에서 새로운 길을 개척

• FunSearch는 수십 년간 수학자들을 괴롭혀온 캡 세트 문제에 대한 새로운 솔루션을 발견함.
• 캡 세트 문제는 고차원 그리드에서 선상에 세 점이 놓이지 않는 가장 큰 점 집합을 찾는 것으로, 극단적 조합론에서 중요한 모델임.
• FunSearch는 일부 설정에서 지난 20년간 발견된 것 중 가장 큰 캡 세트를 발견함.

FunSearch는 간결하고 인간이 해석 가능한 프로그램을 선호

• FunSearch는 단순히 문제의 해결책을 생성하는 것이 아니라, 그 해결책이 어떻게 도출되었는지를 설명하는 프로그램을 생성함.
• FunSearch는 콜모고로프 복잡성이 낮은, 즉 매우 간결한 프로그램을 통해 해결책을 찾는 것을 선호함.
• FunSearch의 프로그램 출력은 연구자들이 이해하기 쉬우며, 연구자들에게 실행 가능한 통찰력을 제공함.

컴퓨팅에서 악명 높은 어려운 도전 과제 해결

• FunSearch는 이론적인 캡 세트 문제에 성공한 후, 컴퓨터 과학에서 중요한 실용적 도전 과제인 "빈 패킹" 문제에 적용됨.
• FunSearch는 기존의 휴리스틱보다 더 적은 수의 빈으로 동일한 수의 항목을 포장하는 데 성공함.

LLM 주도 발견으로 과학과 그 너머를 위한 길 열기

• LLM의 환상화를 방지한다면, 이 모델들의 힘을 활용하여 새로운 수학적 발견을 할 뿐만 아니라 중요한 실제 문제에 대한 영향력 있는 해결책을 밝힐 수 있음.
• 많은 과학 및 산업 문제에 대해 LLM 주도 접근법을 사용하여 효과적이고 맞춤형 알고리즘을 생성하는 것이 일반적인 관행이 될 것으로 예상됨.

GN⁺의 의견

• FunSearch는 수학적 문제 해결에 있어서 인공지능의 새로운 가능성을 보여줌. 특히, 캡 세트 문제와 같은 오랜 기간 해결되지 않은 문제에 대한 새로운 솔루션을 제시함으로써, 수학 분야에서의 AI의 역할이 더욱 중요해질 것임.
• 이 기술이 실제 산업 문제, 예를 들어 데이터 센터의 효율성 향상과 같은 문제에 적용됨으로써, AI가 실용적인 문제 해결에도 기여할 수 있음을 보여줌.
• FunSearch가 생성하는 프로그램은 인간이 해석 가능하며, 이는 연구자들이 더 깊은 통찰력을 얻고, AI와 협력하여 문제를 해결하는 데 도움이 될 것임.

[neo]

Hacker News 의견

• LLM의 필요성에 대한 질문:

  • LLM의 목적은 주어진 타입 시그니처에 맞는 파이썬 함수를 생성하는 것으로 보임.
  • LLM 없이도 주어진 타입 시그니처에 맞는 무작위, 정확한 파이썬 함수를 생성할 수 있어야 함.
  • 제한된 언어가 더 효율적일 수 있음을 제안하며, PushGP 같은 언어를 예로 듦.
  • LLM이 가치를 더하는지, 다른 유전 프로그래밍 기법과 비교하여 경쟁력이 있는지, 전통적인 접근법과 비교해 계산 비용에 차이가 있는지에 대한 질문을 함.

• 조합론에서의 발견에 대한 중요한 맥락:

  • 특정 조합론 숫자가 이전에 알려진 범위보다 더 좁은 범위 내에 있음이 밝혀짐.
  • 이 발견은 논리 중심의 수학적 증명이 아닌, 특별한 속성을 가진 숫자 시퀀스를 찾는 방법으로 이루어짐.
  • 유전 알고리즘과 LLM을 사용하는 방법으로 흥미롭고 유용할 수 있음.

• "자가 대결"에 대한 관련 코멘트:

  • FunSearch는 LLM을 이용한 진화 방법을 사용하여 가장 높은 점수를 받는 아이디어를 발전시킴.
  • 사용자는 코드 형태로 문제를 기술하고, 프로그램을 평가하고 초기화하는 데 사용될 프로그램 풀을 생성함.
  • 각 반복에서 FunSearch는 현재 풀에서 몇몇 프로그램을 선택하고, LLM이 이를 바탕으로 새로운 프로그램을 생성하여 자동으로 평가함. 최고의 프로그램들이 기존 풀에 다시 추가되어 자기 개선 루프를 생성함.

• 웹 검색에 대한 개인적 사용 경험:

  • pplx.ai와 phind.com을 사용하여 질문을 하고, 웹 링크를 찾아냄.
  • 질문을 다듬거나 후속 질문을 하여 다른 또는 더 깊이 있는 참조를 찾아냄.
  • Tech Twitter의 콘텐츠도 유용하며, Grok을 연구에 사용하는 것을 기대함.

• DeepMind의 발견에 대한 트위터 게시물:

  • 만약 신경망이 진정으로 새로운 지식을 생성할 수 있다면, 이는 불 발견 이후 가장 중요한 발견일 것임.
  • 이러한 발견이 사실이라면 모두가 이에 대해 이야기할 것이라는 의문 제기.
  • Palm 2에서 이루어진 것에 대한 인상과, 향후 모델들이 이 방법을 활용할 때의 가능성에 대한 기대감 표현.

• 트위터 게시물 요약:

  • AI 기능이 지속적으로 증가하고 있으며, AI 자동 완성, 리팩토링, 코드 리뷰 차이 생성 등을 통해 개인적인 생산성이 20-30% 향상됨.
  • AI 모델을 사용하여 비즈니스 흐름의 일부를 연결하면 시스템을 "개선"하는 것이 모델 교체만큼 간단함.
  • 초기 통합 이후 몇 년 동안 모든 것이 마법처럼 개선될 것으로 기대함.

• 프로그램 생성에 대한 요약:

  • 프로그램 템플릿/스켈레톤과 적합성 함수를 주어진 상태에서 LLM을 사용하여 프로그램 집단을 생성함.
  • 새로운 프로그램을 생성하는 프롬프트를 사용하고, 입력에 대해 프로그램을 실행하여 적합성 함수로 점수를 매김.
  • 진화에 대한 섬 모델을 사용하며, LLM 호출 횟수가 약 1e6으로 낮음.
  • 프로그램 평가/점수 매기기에 대한 깊이 대 너비의 트레이드오프에 대한 고찰.

• 캡 세트 문제에 대한 접근:

  • 캡 세트 문제는 고차원 그리드에서 세 점이 일직선에 있지 않은 가장 큰 점 집합을 찾는 문제임.
  • FunSearch는 이 문제에 대해 최대 캡 세트를 발견하는 프로그램 형태의 솔루션을 생성함.
  • 이는 지난 20년간 캡 세트 크기 증가 중 가장 큰 증가를 나타냄.

• LLM과 상징적 추론의 통합 가능성에 대한 궁금증 표현.

• 새로운 지식 생성 여부와 관계없이, AI 모델 크기나 기타 규제 조치에 기반한 AI 접근 제한을 고려할 때의 사례 연구에 대한 흥미.

• 보편 근사 정리와 관련하여, ReLU를 사용하는 인공 신경망으로 함수를 정확하게 근사할 수 있음을 언급.

  • 이 접근법은 유사하지만, 최종적으로 코드를 제공함.