AlphaEvolve: Gemini 기반 첨단 알고리듬 설계 코딩 에이전트

 (deepmind.google)
3P by GN⁺ | ★ favorite | 댓글 1개
  • Google DeepMind가 공개한 AlphaEvolve는 Gemini 모델과 자동 평가기를 결합해 알고리듬을 발견·최적화하는 진화형 코딩 에이전트임
  • Gemini Flash는 넓은 아이디어 탐색을, Gemini Pro는 더 깊은 제안을 맡고, 후보 프로그램은 실행·검증·점수화를 거쳐 유망한 변형으로 발전함
  • 지난 1년간 발견된 알고리듬은 데이터센터 스케줄링, TPU 설계, Gemini 최적화에 배포됐고, Borg에서는 전 세계 Google 컴퓨팅 자원의 평균 0.7% 를 지속적으로 회수함
  • Gemini 행렬 곱셈 커널은 23% 빨라져 학습 시간이 1% 줄었고, FlashAttention 커널 구현은 최대 32.5% 속도 향상을 달성함
  • 수학 영역에서는 4x4 복소수 행렬 곱셈을 48개 스칼라 곱셈으로 수행하는 알고리듬을 찾았고, 50개 넘는 공개 문제 중 약 20%에서 기존 최선 해를 개선함

AlphaEvolve가 알고리듬을 진화시키는 방식

  • AlphaEvolve는 범용 알고리듬 발견과 최적화를 목표로 하는 진화형 코딩 에이전트임
  • 대규모 언어 모델의 창의적 문제 해결 능력에 자동 평가기를 붙여 답을 검증하고, 진화 프레임워크로 유망한 아이디어를 계속 개선함
  • 2023년 Google DeepMind는 LLM이 코드 함수 생성을 통해 공개 과학 문제에서 증명 가능한 새 지식을 찾을 수 있음을 보였고, AlphaEvolve는 이를 단일 함수에서 전체 코드베이스와 더 복잡한 알고리듬으로 확장함
  • 모델 구성은 탐색 폭과 제안 품질을 나눠 맡는 구조임
    • Gemini Flash: 빠르고 효율적인 모델로 더 넓은 아이디어 공간을 탐색함
    • Gemini Pro: 더 강력한 모델로 통찰 있는 제안을 제공함
  • 생성된 프로그램은 자동 평가 지표로 실행·검증·점수화되며, 정확도와 품질을 정량 평가할 수 있는 수학·컴퓨터과학 문제에 특히 잘 맞음

Google 인프라에 적용된 결과

  • 지난 1년 동안 AlphaEvolve가 발견한 알고리듬은 Google의 데이터센터, 하드웨어, 소프트웨어 전반에 배포됨
  • 개별 최적화가 대규모 AI·컴퓨팅 인프라에 적용되면서 같은 자원으로 더 많은 작업을 처리하는 효과를 냄

  • 데이터센터 스케줄링

    • AlphaEvolve는 Borg가 Google의 대규모 데이터센터를 더 효율적으로 조율하도록 돕는 단순하지만 효과적인 휴리스틱을 발견함
    • 이 해법은 1년 넘게 프로덕션에서 동작하며, 전 세계 Google 컴퓨팅 자원의 평균 0.7% 를 지속적으로 회수함
    • 사람이 읽을 수 있는 코드로 구현돼 해석 가능성, 디버깅 용이성, 예측 가능성, 배포 용이성도 함께 제공함

  • 하드웨어 설계

    • 행렬 곱셈용 고도로 최적화된 산술 회로에서 불필요한 비트를 제거하는 Verilog 재작성안을 제안함
    • 제안된 수정은 회로의 기능적 정확성을 유지하는지 확인하기 위해 강력한 검증 절차를 통과해야 함
    • 이 제안은 Google의 맞춤형 AI 가속기인 향후 Tensor Processing Unit에 통합됨
    • 칩 설계자가 쓰는 표준 언어로 수정을 제안해 AI와 하드웨어 엔지니어 간 협업 방식에도 맞춰짐

Gemini 학습·추론 최적화

  • AlphaEvolve는 큰 행렬 곱셈 작업을 더 작은 하위 문제로 나누는 방식을 찾아 Gemini 아키텍처의 핵심 커널을 23% 빠르게 만듦
  • 이 커널 개선으로 Gemini 학습 시간이 1% 줄었고, 생성형 AI 모델 개발에 필요한 컴퓨팅 자원도 절감됨
  • 커널 최적화에 들어가는 엔지니어링 시간은 전문가의 수 주 작업에서 며칠간의 자동 실험으로 줄어듦
  • 낮은 수준의 GPU 명령도 최적화 대상에 포함됨
    • 이 영역은 보통 컴파일러가 이미 강하게 최적화해 인간 엔지니어가 직접 수정하지 않는 경우가 많음
    • Transformer 기반 AI 모델의 FlashAttention 커널 구현에서 최대 32.5% 속도 향상을 달성함
  • 이런 최적화는 전문가가 성능 병목을 찾고 개선 사항을 코드베이스에 쉽게 통합하는 데 도움을 줌

수학과 알고리듬 발견

  • AlphaEvolve는 최소한의 코드 골격만 주어진 상태에서도 복잡한 수학 문제에 대한 새 접근을 제안할 수 있음
  • 새로운 기울기 기반 최적화 절차의 여러 구성요소를 설계해 행렬 곱셈을 위한 새 알고리듬들을 발견함
  • 예시에서는 최적화기, 가중치 초기화, 손실 함수, 하이퍼파라미터 탐색 등 여러 구성요소를 바꿨고, 진화 과정에서 15개 돌연변이가 필요했음
  • AlphaEvolve의 절차는 4x4 복소수 행렬 곱셈을 48개 스칼라 곱셈으로 수행하는 알고리듬을 찾음
    • 이 설정에서 기존 최선으로 알려졌던 Strassen의 1969년 알고리듬을 개선한 결과임
    • 행렬 곱셈 알고리듬에 특화됐던 AlphaTensor는 4x4 행렬에서 이진 산술에 대해서만 개선을 찾았음
  • 수학적 분석, 기하, 조합론, 정수론의 공개 문제 50개 이상에도 적용됨
    • 대부분의 실험은 몇 시간 안에 설정할 수 있었음
    • 약 75% 의 경우에는 알려진 최첨단 해법을 재발견함
    • 약 20% 의 경우에는 기존 최선 해를 개선해 해당 공개 문제에서 진전을 만듦
  • kissing number problem에서는 11차원에서 바깥 구 593개의 배치를 발견해 새로운 하한을 세움

공개 계획과 적용 범위

  • AlphaEvolve는 특정 영역의 알고리듬 발견을 넘어 실제 문제를 위한 복잡한 알고리듬 개발로 확장되는 흐름을 보여줌
  • Google DeepMind는 대규모 언어 모델의 코딩 능력이 향상될수록 AlphaEvolve도 계속 개선될 것으로 기대함
  • People + AI Research team과 함께 AlphaEvolve와 상호작용하는 사용자 친화적 인터페이스를 구축 중임
  • 선택된 학술 사용자 대상 Early Access Program을 계획하고 있으며, 더 넓은 공개 가능성도 검토 중임
  • 관심 등록은 이 양식에서 받을 예정임
  • 현재 적용 분야는 수학과 컴퓨팅이지만, 해법을 알고리듬으로 표현하고 자동 검증할 수 있는 문제라면 적용 가능함
  • Google DeepMind는 재료과학, 신약 발견, 지속가능성, 더 넓은 기술·비즈니스 응용에서도 AlphaEvolve가 변화를 만들 수 있다고 봄
  • 관련 자료

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 논문에 따르면 “두 4×4 행렬을 곱할 때 Strassen 알고리즘을 재귀적으로 적용하면 임의의 체에서 동작하는 49회 곱셈 알고리즘이 나오지만, AlphaEvolve는 4×4 복소수 행렬 곱셈을 48회 곱셈으로 수행하는 알고리즘을 찾은 첫 방법”이라고 함
    순진한 행렬 곱셈을 해보면 비슷한 일을 여러 번 하는 느낌은 들지만, 그 중복 작업이 정확히 무엇인지는 정량화하기 어려움
    예를 들어 두 집합의 합집합 크기를 구할 때 전체 크기 = size(A) + size(B) - size(intersection(A, B))처럼 교집합을 두 번 세었기 때문에 빼야 함
    애초에 두 번 세지 않으려면 각 집합을 한 번씩 순회하면서 이미 본 원소를 추적하면 되고, Strassen 알고리즘도 나중에 필요한 계산을 추적한다는 점에서 동적 계획법이 떠오름
    흥미로운 건 추가 절약에 복소수 값이 필요한 듯 보인다는 점이고, 복소평면에서 순진한 접근이 다시 무언가를 과다 계산하고 있는 것 같음

    • “4x4 matrices multiplication 48”로 검색하다가 math.stackexchange의 이 토론 https://math.stackexchange.com/questions/578342/number-of-el...에 도달했는데, 2019년에 이미 “두 4×4 행렬 A,B를 48회 곱셈만으로 곱할 수 있다”고 쓰고 박사학위 논문 링크를 걸어둔 사람이 있었음
      이 결과가 이미 알려져 있었을 가능성이 있고, 알고리즘 개요는 아직 확인해봐야 함
    • Strassen 알고리즘에 대해 오해가 있어 보임
      1. 이 알고리즘은 동적 계획법이 아니라 알고리즘 설계에서 분할 정복의 표준 예시임. 어떻게 봐야 동적 계획 문제로 바꿀 수 있는지도 잘 모르겠음
      2. Strassen 알고리즘은 복소수 행렬을 필요로 하지 않고, 모든 계산은 실수에서도 가능함
    • “흥미로운 건 추가 절약에 복소수 값이 필요한 듯 보인다는 점이고, 복소평면에서 순진한 접근이 다시 무언가를 과다 계산하고 있는 것 같음”에 대해서는 다음 문장이 관련됨
      “텐서의 계수는 그 텐서를 어떤 체 위에서 분해하느냐에 따라 달라진다. 어떤 실수 텐서는 같은 텐서의 실수 분해 계수보다 엄격히 더 낮은 계수의 복소수 분해를 가질 수 있음이 알려져 있다.”
      https://en.wikipedia.org/wiki/Tensor_rank_decomposition#Fiel...
    • 복소수 곱셈 하나는 최소한 실수 곱셈 3개만큼의 가치가 있음
    • 절약에 정말 복소수 값이 필요한지 확실한가? 이 알고리즘은 표수 0인 임의의 체에서 동작할 것 같음
      추측하자면 4! = 24의 어떤 약수로 나누기만 하면 될 가능성이 큼

  • “AlphaEvolve가 Transformer 기반 AI 모델의 FlashAttention 커널 구현에서 최대 32.5% 속도 향상을 달성했다”, “약 75%의 경우 우리가 아는 한 최신 해법을 재발견했다”, “20%의 경우 기존 최선 해법을 개선했다”는 건 굉장한 결과처럼 들림
    어떤 개선이 있었는지, 개선 내용이 무엇인지 궁금함
    예를 들어 “최대 32.5% 속도 향상”이 특이한 경계 사례에서만 나온 것이고 나머지는 미미했는지 알고 싶고, 벤치마크를 보고 싶음

    • GPU에는 캐시 계층이 있고, 블록 크기를 맞춰 캐시를 최적으로 맞히는 것만으로도 큰 이득이 됨
      중요한 커널 수 × 중요한 GPU 수 × 제대로 튜닝하는 데 드는 노력이 너무 커서, 오픈소스에서 남을 위해 무료로 기본 제공되기 어려운 최적화이기도 함
      여기에 커널 융합과 API 경계가 명확성과 단순성을 위해 사회적으로 비최적 선택을 강제하는 문제도 있음
      매우 인상적인 결과지만 마법도 아니고, 속임수도 아님
    • “AlphaEvolve는 AI 성능과 연구 속도를 높이고 있다. 큰 행렬 곱셈 연산을 더 다루기 쉬운 하위 문제로 나누는 더 영리한 방법을 찾아 Gemini 아키텍처의 핵심 커널 속도를 23% 높였고, Gemini 학습 시간을 1% 줄였다”고 되어 있음
    • 논문상으로는 Jax로 작성한 XLA GPU 커널에서의 속도 향상이었고, 아마 최신 최고 수준 구현은 아닐 것임
      Jax에 공식 FlashAttention 구현이 있는지도 모르겠음
    • 요즘 이런 숫자를 읽으면 그냥 잡음처럼 느껴짐
      FlashAttention에서 32.5% 빨라졌다고? 좋음
      그렇다면 왜 Flash Attention 저장소에 풀 리퀘스트를 보내지 않는가? 더 자세히 읽을 수는 있나?

  • 훌륭하지만, 이런 발전이 얼마나 점진적인지 궁금함
    무작위로 하나를 골라 B.2, 두 번째 자기상관 부등식을 봤고, 이전 최신 결과를 낸 논문 https://arxiv.org/pdf/0907.1379을 찾아봤음
    그 저자들도 “Mathematica 6”으로 수치 탐색을 해서 상계를 찾았고(p.4), 이를 부차적 기여로 보았을 뿐 아니라(p.2), 더 나은 값을 찾는 것은 충분히 가능하지만 고생할 가치가 없다고 썼음
    “이 모든 것은 엄밀하게 할 수 있지만, 이산화에서 생기는 오차를 제어해야 하고, 그 문서화 작업만으로도 최소한의 이득에 비해 노력할 가치가 없다”(p.5)
    적어도 이 경우 AlphaEvolve의 발전은 꽤 점진적으로 보이지만, 그래도 멋지긴 함

    • 그렇게 들으면 이제는 “노력할 가치가 없다”가 아니게 된 것 같음
      노력 자체가 크게 줄었다는 사실만으로도 중요함
    • 사람에게는 시간 낭비일 수 있지만, 그런 “기회”에 AI를 던질 수 있다면 잡일을 자동화하면서 누적 효과가 꽤 커짐
    • 키싱 수 관련해서는 원하면 사람들이 미세한 개선을 찾을 수 있음
      보통은 통찰을 주지 않기 때문에 가치가 낮지만, 많이 만들어내다 보면 그중 하나나 어떤 계열이 흥미로운 것으로 드러날 수도 있음
    • 이게 도약의 시작이 아니라면 무엇인지 모르겠음

  • 멋지지만, 본질적으로 Google의 Co-Scientist와 비슷한 것 아닌가? 여러 모델이 루프 안에서 문맥을 주고받고 검증하는 구조로 보임
    핵심은 여전히 LLM 시스템이고, 실행은 인상적이지만 근본적으로 새롭지는 않음
    LLM이 코드 “최적화”나 사람이 놓칠 수 있는 패턴·중복 탐지에 유용한 것은 분명하지만, 이번 발표는 Google의 또 다른 잘 다듬어진 과장성 블로그 글처럼 느껴짐
    “Alpha” 브랜딩 사용도 점점 헷갈림. 원래 AlphaGo나 AlphaFold처럼 성능과 방법론에서 명확한 도약이 있었던 돌파구에 붙던 이름인데, 이제는 정교하긴 해도 같은 수준의 영향력으로 보이지 않는 시스템에도 적용되고 있음
    설명에서 평가기를 빠뜨렸지만, Co-Scientist에도 평가 방법은 적용됨
    “AI co-scientist는 테스트 시점 계산 확장을 활용해 반복적으로 추론하고, 진화시키고, 출력을 개선한다. 핵심 추론 단계에는 새로운 가설 생성을 위한 자기대국 기반 과학 토론, 가설 비교를 위한 순위 토너먼트, 품질 개선을 위한 ‘진화’ 과정이 포함된다.”
    [0]: https://research.google/blog/accelerating-scientific-breakth...

    • AlphaEvolve 논문에서 이 부분을 다룸
      “AI Co-Scientist는 과학적 가설과 그 평가 기준을 자연어로 표현하지만, AlphaEvolve는 코드 진화에 집중하고 프로그램 방식의 평가 함수로 진화를 이끈다. 이 선택 덕분에 LLM 환각을 상당 부분 우회할 수 있고, AlphaEvolve가 많은 시간 단계에 걸쳐 진화 과정을 이어갈 수 있다.”
    • 사실상 같은 물건인 두 제품을 서로 다른 두 팀이 따로 만드는 것만큼 Google다운 일도 드묾
    • “Google의 Co-Scientist”라고? 같은 이름의 프로젝트가 여러 개 있는 건가?

  • 흥미롭게도 AlphaEvolve는 이미 1년 동안 사용된 것 같고, 이제야 공개되는 듯함
    논문에는 Gemini 2.0 Pro와 Flash를 사용한다고도 되어 있어, Gemini 2.0이 어떤 방식으로 Gemini 2.5 학습에 쓰인 상황이 됨
    이를 전설적인 “자기 개선 피드백 루프”라고 부를지는 모르겠지만, 어느 정도는 그런 성격이 있어 보임
    AlphaEvolve가 1년 동안 개발 중이었던 것인지, 1년 동안 실제 운영에 쓰였던 것인지도 궁금함
    지금쯤이면 AI 연구에서 발견한 보석을 공개하지 않고 붙들고 있는 것도 말이 됨

    • 두뇌, 계산 자원, 하드웨어 통제권을 모두 갖고 있다면 도약 피드백 루프를 막을 게 무엇인가? DeepMind는 이 시점에서 독특하게 유리한 위치에 있음
    • “Gemini 2.0이 어떤 방식으로 Gemini 2.5 학습에 쓰였다”는 점은, 이전 모델의 합성 데이터로 더 우수한 모델이나 증류 모델을 만드는 일이 적어도 OpenAI의 RLHF 도입 이후로 계속되어 왔고, 아마 그 전에도 있었음
    • 핵심은 자율성임. 인간 검토 없이 스스로를 변경할 수 있는가? 가능하다면 그런 변경이 어느 시점에서 멈추지 않을 거라는 증거는 무엇인가?
      여기서 보이는 건 코딩 보조 도구에 가깝고, 설명하기 어려운 해법이 장기적으로 얼마나 도움이 될지도 모르겠음
      난해한 코드베이스로 이어질 수도 있는데, 그게 목적일까?

  • 진화 절차에 대한 세부 정보가 너무 적어서 놀랐음
    “AlphaEvolve에서 진화 데이터베이스는 MAP-elites 알고리즘[71]과 섬 기반 개체군 모델[80, 94]의 조합에서 영감을 받은 알고리즘을 구현한다.”
    여기서 “영감을 받은”이 너무 많은 일을 하고 있음
    MAP-elites를 하려면 변이 차원을 어떻게 고르는가? 두 알고리즘을 어떻게 결합하는가? 영감의 정도가 얼마나 느슨한가?
    이런 질문들의 답에 비밀 소스가 많이 들어 있을 것 같은데, 진화 절차 설명은 한 문단뿐이고 너무 모호해서 사실상 거의 아무것도 알려주지 않음

    • LLM을 이용한 섬 기반 진화에 대한 2023년 Nature 논문 https://www.nature.com/articles/s41586-023-06924-6에는 더 자세한 내용이 있음
      차원이나 특징이 핵심이라는 데 동의함. 이런 백서는 과학에 대한 모욕에 가까움
    • 1월에 DeepMind가 낸 https://arxiv.org/pdf/2501.09891v1가 진화 알고리즘을 조금 더 다루지만, 수학은 없음
    • 가장 단순한 방식은 모델에게 서로 다른 평가 지표를 생성하게 하고, 각 지표를 차원 중 하나로 쓰는 것일 듯함
      이미 그런 일을 하는 것처럼 보이기도 함

  • 특이점을 기다리는 사람들에게는 이런 문장이 거의 공상과학에서 바로 나온 것처럼 보일 듯함
    “AlphaEvolve는 칩 설계자의 표준 언어로 수정을 제안함으로써, 미래의 특수 칩 설계를 가속하기 위한 AI와 하드웨어 엔지니어의 협업 방식을 촉진한다”

    • 백서 https://storage.googleapis.com/deepmind-media/DeepMind.com/B...의 관련 부분은 이렇다
      “AlphaEvolve는 matmul 유닛 안의 산술 유닛에서 불필요한 비트를 제거하는 간단한 코드 재작성을 찾았고, TPU 설계자들이 그 정확성을 검증했다.”
      추측하자면 MAC 회로 출력의 상위 비트가 이후 연결, 예를 들어 누산 레지스터에서 쓰이지 않는 경우를 말할 수 있음. 비표준 자료형용 특수 MAC 회로에서 쓰이지 않는 비트일 수도 있음
      “이 특정 개선은 하류 합성 도구에도 독립적으로 포착되었지만, AlphaEvolve의 RTL 단계 기여는 소스 RTL을 정제하고 설계 흐름 초기에 최적화를 제공하는 능력을 보여준다.”
      저자들도 인정하듯 이 비트 수준 최적화는 합성 도구가 자동으로 수행한 것이고, 소프트웨어 세계로 치면 컴파일러가 죽은 코드 제거를 한 것과 비슷함
      이들은 합성에 맡기기보다 소스 RTL에서 비트 절단을 명시하는 편이 낫다고 주장하는 듯하지만, 합성은 수행하는 최적화가 회로 의미를 바꾸지 않음을 보장하는 반면 소스 RTL 변경은 원본 대비 의미를 바꿀 수 있고, 의미 동등성 검사를 위해 인간 개입이 필요하므로 의심스러움
      예외는 특정 최적화가 런타임에 회로 내부에서 보이는 값에 대한 가정에 의존하는 경우임. 합성은 모든 회로 입력이 임의값이라는 가장 보수적인 상황을 가정함
      다만 기존 합성 흐름이 최종 넷리스트에서 제거된 구체적 라인이나 비트를 소스 RTL에 역주석으로 남겨 사람이 기대한 최적화가 실제로 수행됐는지 확인하게 해주지 못한다는 결함은 드러남
      “이 초기 탐색은 LLM 기반 코드 진화가 하드웨어 설계를 보조해 출시 시간을 줄일 수 있는 새로운 접근을 보여준다.”
      AlphaEvolve가 달성한 일을 크게 과장하고 있다고 봄. 그렇다고 LLM이 RTL 설계나 최적화에 유용할 잠재력이 없다는 뜻은 아님
    • 이는 컴파일러의 중간 표현 중 디버그용 텍스트 형태에서 동작한다는 뜻일 뿐임
    • 이 접근은 잘 정의된 평가 지표가 있는 함수의 최적화를 탐색할 때만 동작한다는 점을 기억해야 함
      일반적인 “지능”에 대한 평가 함수를 작성할 수는 없음
    • 솔직히 나를 움직인 문장은 이것임
      “AlphaEvolve는 Google 데이터센터, 칩 설계, AI 학습 과정의 효율을 높였다 — AlphaEvolve 자체의 기반이 되는 대규모 언어 모델 학습도 포함해서.”
      특이점 쪽 사람들은 수십 년 동안 AI가 인간보다 더 잘 자신을 개선하고, 그 결과 초지능의 폭주하는 복리 성장이 일어난다고 말해왔는데, 이제 그게 여기 있음
    • 지구상의 아무도 이 모든 것이 실제로 어떻게 작동하는지 이해하지 못하는 지점에 점점 가까워지고 있음
      이 상태는 붕괴가 올 때까지 이어질 것이고, 그다음엔 끝장임

  • 중요한 순간임. 이제 이런 시스템이 현실 세계에서 실제 가치가 있는 새롭고 유용한 연구를 할 수 있다는 검증 가능한 증거가 생겼음
    1% 절감도 시작일 뿐이고, 시간이 지나며 누적되는 이득의 복리 효과가 상당할 것으로 예상함
    또한 이 과정이 어떤 방식으로 Gemini 2.5 Pro를 더 좋게 만드는 데 쓰였으니, 재귀적 자기 개선을 향한 아기 걸음 같음
    아직 완전 자동화는 아니지만, 어디로 가는지 힌트는 보임

    • 유전 프로그래밍 시스템은 수십 년 전부터 주기적으로 알고리즘을 개선해 왔음
      사실상 이것에 해당하는 LLM 기반 유전 프로그래밍이 단계적 변화인지, 아니면 그 연장선인지 여부는 아직 열린 질문이라고 봄
      “유전 프로그래밍 시스템이 유전 프로그래밍으로 자기 자신을 개선할 수 있다!”는 아이디어는 매우 오래됐고 아직 제대로 동작한 적이 없어서, 재귀적 자기 개선 개념에 너무 많은 의미를 읽는 것도 조심스러움. 물론 앞으로도 안 된다는 증거는 아님
      다른 회사의 관련 작업: https://sakana.ai/ai-cuda-engineer/
      이 영역에 가까운 학술 논문들: https://arxiv.org/abs/2206.08896, https://arxiv.org/abs/2302.12170, https://arxiv.org/abs/2401.07102
    • 항상 “우리 내부 워크플로를 혁신한다”거나 “Microsoft 코드의 30%가 이제 AI”라는 식이지만, 실제로 볼 수 있는 코드베이스를 개선하는 건 아님
      특정 알고리즘 하나의 최신 기술 수준을 의미 있게 개선하는 것은 별개의 일이고, 80년대부터 새 도구들이 그런 일을 하는 건 봐왔음
      LLM이 성숙한 FOSS 프로젝트에 가치 있는 풀 리퀘스트, 뻔하지 않은 경계 사례, 사소하지 않은 버그 수정을 내기 시작하면 믿겠음
    • 이게 새롭긴 한가? 여기 글들을 보면 신호가 섞여 있음
      한쪽에서는 48회와 46회 곱셈 해법이 이미 알려져 있었고 모델 학습 데이터에 들어갔을 수도 있다는 증거가 있음
      다른 쪽에서는 특이점이 왔다고 흥분함
      후자가 사실이라면 우리가 출판 논문으로 읽고 있을 리 없고, 이미 알고 있었을 것임

  • Nature 링크에 인용된 연구자 중 한 명과 관련해, 과거 DeepMind가 2022년 10월 AlphaTensor [1][2]를 발표했을 때는 단 하루 만에(!!) AlphaTensor 기반 방식의 개선이 발견됐음. [3] 참고
    그리고 몇 달 뒤에는 훨씬 더 포괄적인 방식으로 일반화됐음. [4]
    [4]에서 발견된 더 일반적인 방식이 개선된 AlphaTensor 버전으로 다시 흡수됐는지는 모르지만, AlphaEvolve도 커뮤니티에 흡수되면서 달라질 수 있음을 보여줌
    [1] Blog: https://deepmind.google/discover/blog/discovering-novel-algo...
    [2] Paper: https://www.nature.com/articles/s41586-022-05172-4
    [3] arxiv.org/pdf/2210.04045
    [4] arxiv.org/abs/2212.01175 Flip graphs for matrix multiplication
    여기서 미니 심층 분석을 했던 내용을 다시 올림: https://x.com/friederrrr/status/1922846803420119410?t=7jZ34P...

  • 논문은 진화 부분에 대해 세부 정보를 많이 주지 않음
    보통 진화 알고리즘에는 해들끼리 번식할 수 있는 교차 구성요소가 들어감
    그렇지 않으면 언덕 오르기나 빔 탐색으로 분류하는 편이 더 맞음

    • 전형적인 돌연변이와 교차를 쓰지 않고, 후보 개체군, 즉 탐색 표본으로 기울기 지형을 근사하는 “진화 전략” 알고리즘도 있음
    • 현재 알고리즘을 최적화하는 동안 모델에는 이전 시도 몇 개와 그 평가가 입력됨
      그 정보를 바탕으로 모델은 이전 시도의 구성요소를 현재 시도에 마음대로 결합할 수 있음
      모든 것이 하나의 프롬프트에 들어가고, LLM이 이를 임의로 참조할 수 있기 때문임
      그래서 여기에는 재조합이 잘 표현되어 있고, 유전 알고리즘에 더 가까워짐
      본질적으로 LLM의 비제한적 성격 덕분에 언덕 오르기, 빔 탐색, 유전 알고리즘의 요소가 결합됨
    • 전형적인 의미의 진화 알고리즘은 아닌 것 같아 우려됨
    • 흥미로운 캡션 하나에서 무언가에 16번의 “돌연변이” 가 필요했다고 했음
      이 돌연변이가 어떻게 작동하는지 정말 알고 싶음
답변달기