AI 검색: 더 씁쓸한 교훈

• 기반 모델에 더 긴 추론 시간을 쓰는 검색(search) 능력을 붙이면, 더 큰 모델 출시를 기다리는 것과 다른 AI 발전 경로가 열릴 수 있음
• Leela Chess Zero는 자기대국과 딥러닝으로 Stockfish를 꺾었지만, Stockfish는 더 작은 신경망을 강한 검색 파이프라인에 결합해 다시 우위를 되찾음
• 여기서의 검색은 훈련 컴퓨트가 아니라 추론 컴퓨트를 더 써서 문제 해결 성능을 높이는 능력이며, 체스식 MCTS나 AlphaBeta만을 뜻하지 않음
• 검색은 필요한 영역에만 컴퓨트를 집중하게 해 Pfizer 같은 기업이 OpenAI의 더 큰 모델을 기다리지 않고 추론 비용을 직접 지불하는 선택지를 만들 수 있음
• AI 연구에 검색이 먼저 적용되면 더 효율적인 검색 알고리듬과 모델 아키텍처를 찾는 데 쓰일 수 있어, 자기개선형 AI가 예상보다 가까울 수 있음

---

Leela와 Stockfish가 보여준 “더 씁쓸한 교훈”

• Leela Chess Zero는 규칙만 알고 시작해 수십억 번의 자기대국으로 학습한 체스 엔진임
  • 사람의 체스 지식을 직접 하드코딩하지 않고, 스스로 배운 방식으로 인간 체스 정설을 뒤집는 수를 뒀음
  • 장기적 희생과 창의적인 수를 보였고, 세계 챔피언십에서 우승함
• Leela의 강점은 딥러닝이었고, The Bitter Lesson이 말하는 대규모 계산과 학습의 힘을 잘 보여줌
  • 인간이 설계한 지식보다 스스로 학습한 표현이 더 강력해질 수 있다는 흐름과 맞닿아 있음
• Leela 팀은 2018년에 더 큰 네트워크가 더 작은 네트워크보다 일관되게 강하다는 점을 관찰함
  • 더 큰 네트워크는 명시적 검색 없이도 몇 수 앞을 보는 듯한 창발적 특성을 보였음
• 2020년 Leela 팀은 더 큰 네트워크를 학습시키기 위해 기업 기부자와 지인의 GTX 1070 등에서 컴퓨트를 모았고, 세계대회 직전 가장 큰 모델을 준비했지만 패배함

Stockfish의 역전: 작은 모델과 강한 검색

• Stockfish는 2010년대의 지배적인 체스 프로그램이었고, 2019년에는 인간이 게임 지식을 수학적 기법으로 코드에 녹여 넣은 구식 AI에 가까웠음
• Leela는 딥러닝과 tabula rasa 방식으로 2019년에 Stockfish를 꺾었지만, Stockfish는 이후 Leela의 딥러닝 기법을 가져와 훨씬 작은 모델을 학습시킴
  • 그 모델은 최상위 Leela 모델보다 수백 배 작았음
  • Stockfish는 이 작은 모델을 기존 검색 파이프라인에 넣었고, 곧바로 Leela를 압도함
• 이 승리는 더 큰 모델을 추구하는 스케일링 법칙과 반대로 보임
  • 모델은 더 작았지만 검색 알고리듬이 더 효율적이고, 하드웨어를 더 잘 활용했으며, 더 멀리 볼 수 있었기 때문임
• “더 씁쓸한 교훈”은 화려한 딥러닝 시대에도 AI 검색의 힘을 과소평가하면 안 된다는 데 있음

기반 모델 검색의 정의와 현재 한계

• GPT-4 같은 기반 모델에는 이 글이 말하는 의미의 검색이 부족함
  • GPT-4에 한 달 동안 문제를 생각하라고 요청해 더 나은 답을 기대하는 방식은 현재 가능하지 않음
  • “step-by-step으로 생각하라”는 요청은 성능을 높일 수 있지만, 수익은 빠르게 감소함
• 기반 모델 검색은 훈련 컴퓨트가 아니라 추론 컴퓨트를 더 써서 문제를 더 잘 푸는 능력임
  • 체스식 MCTS나 AlphaBeta 검색만을 가리키지 않음
  • 인간의 내성적 사고와 협업도 이 정의 안에 들어감
• AI 연구자, 경제학자, CEO들은 기반 모델에 검색을 부여하는 일이 얼마나 가깝고 중요한지 과소평가하고 있을 수 있음
• 검색이 중요한 이유는 세 가지로 압축됨
  • 구현에 반드시 더 큰 모델 스케일이 필요하지 않을 수 있음
  • 필요한 곳에만 컴퓨트를 집중할 수 있음
  • AI 연구 자동화를 앞당길 수 있음

스케일이 검색의 전제조건은 아닐 수 있음

• 널리 퍼진 가정은 LLM 검색을 가능하게 하려면 더 큰 모델이 필요하다는 것임
  • Sholto Douglas는 장기 사고를 다루려면 LLM 신뢰성에서 더 많은 “nines”가 필요하다고 말함
  • Leopold Aschenbrenner는 사전학습이 검색에 필요한 재료를 이미 담고 있을 수 있으며, “조금 더 많은 스케일링”과 추가 토큰이 필요하다고 봄
• 하지만 체스 사례는 스케일이 검색의 전제조건이라는 생각을 흔듦
  • DeepMind는 검색 없는 체스 알고리듬에서 앞을 내다보는 행동이 외부 스캐폴딩 없이 자연스럽게 나타난다는 점을 연구함
  • 체스에는 이미 검색 알고리듬이 있으므로, 큰 모델에서 비효율적인 앞보기 능력이 우연히 나타나길 기다릴 이유가 약하다는 논리임
• Scaling Scaling Laws with Board Games는 훈련 시 컴퓨트를 10배 늘릴 때마다 테스트 시 컴퓨트를 약 15배 줄일 수 있음을 보였음
  • 이 결과는 단일 뉴런 모델까지 내려가도 관찰됨
  • Stockfish가 Leela보다 3자릿수 더 작은 모델로 이긴 사례와 연결됨
• 현재 모델은 검색을 가능하게 할 만큼 이미 충분히 클 수 있고, 어쩌면 필요 이상으로 클 수도 있음

검색 경제학과 AI 연구 자동화 가능성

• 검색은 훈련 시점과 추론 시점의 컴퓨트 간 교환을 가능하게 하고, 특정 도메인에만 비용을 쓰게 함
• Pfizer 예시는 검색이 도메인별 컴퓨트 지출로 이어지는 방식을 보여줌
  • Pfizer가 새 약물을 연구하려면 2030년에 OpenAI가 4자릿수 더 큰 모델을 내놓을 때까지 기다릴 수 있음
  • 또는 지금 4자릿수 더 많은 추론 컴퓨트를 사용해 비슷한 능력을 얻으려 할 수 있음
• Pfizer가 GPT-4에 연간 10만 달러를 쓴다고 가정하면, 2030년 ASI급 능력에 접근하려면 AI 예산을 4자릿수 늘려 연간 10억 달러로 올려야 함
  • Pfizer의 R&D 예산은 이미 120억 달러임
  • 같은 능력의 모델을 훈련하려면 OpenAI에는 수조 달러가 들 수 있다고 봄
• Leopold Aschenbrenner의 2030 ASI 경로는 대형 클러스터, 매출 증가, 대규모 기업 대출, 정부의 더 큰 클러스터 구축을 거쳐 모델이 AI 연구를 스스로 할 만큼 커지는 흐름임
  • 검색 없는 세계에서는 이 경로가 그럴듯해 보임
• 검색이 작동하는 세계에서는 다른 경로가 가능함
  • 기존 모델에 검색이 작동함
  • 대형 연구소와 정부가 검색을 AI 연구나 해외 첩보에 즉시 적용함
  • 추론 컴퓨트가 제한되어 정부나 대형 연구소가 보안 또는 AI 연구로 용도를 제한함
  • 검색 기반 AI 발전이 더 효율적인 검색 알고리듬과 모델 아키텍처를 찾아냄
  • 검색은 더 많은 훈련 데이터를 요구하지 않기 때문에 데이터 장벽 문제가 약해짐
  • 지능 폭발은 2030년이 아니라 다음 해에 시작될 수 있다는 전망으로 이어짐
• AI 연구에 검색을 쓰면 새로운 약물 발견과 달리 결과가 다시 더 나은 AI를 만드는 데 직접 기여할 수 있음
  • 초기 검색 강화 모델에는 도구를 쓰거나 테스트를 실행하는 인간형 에이전시가 없을 수 있음
  • 그래도 초인적인 “armchair theorists”처럼 알고리듬 발전을 이끌 수 있다고 봄
  • GPT-4가 1조 토큰, 1,500만 달러를 써서 훈련 비용을 3% 줄이거나 검색 효율을 10% 높이는 알고리듬을 찾는다면 비용을 회수할 수 있다는 계산이 나옴
• 이 예측은 두 가지 전제에 기대고 있음
  • RL 시스템에서 보인 것과 비슷한 성능 향상을 가능하게 하는 기반 모델 검색 알고리듬이 존재함
  • 검색이 모델 스케일링보다 기존 자본을 지능으로 더 효율적으로 바꿈
• 2020년대의 스케일링 법칙과 달리 검색의 성능과 경제성에 대한 좋은 증거는 아직 부족하며, 게임 강화학습 경험을 바탕으로 한 외삽이 남아 있음

[GN⁺]

Hacker News 의견들

• 탐색의 효과는 가치 함수의 품질과 같이 감. 하지만 지금의 가치 함수는 도메인별 특성이 너무 강하고, 새 도메인으로 잘 일반화되는 가치 함수를 만들 수 있다는 증거는 약하거나 없다고 봄
  이 글은 사실상 “체스에는 좋은 가치 함수가 있다”에서 “AI 연구용 탐색을 가능하게 하는 좋은 가치 함수를 만들 수 있다”로 개념적 도약을 함
  물론 그렇게 되면 훌륭하고 성배 같은 일이지만, 정말 가능한지 의문임. 게다가 LLM 실행에 추론 시간 비용이 1000배나 10000배 붙으면 비용이 말도 안 되는 수준으로 올라감

  • 일반화된 가치 함수, 즉 LLM 벤치마크는 어느 정도 있다고 봄. 문제는 추론 시점에 트리 탐색을 할 만큼 싼 근사치가 없다는 것임
    체스는 말 이득이 승리에 꽤 좋은 근사치이고 계산도 아주 쉽기 때문에 작동함
  • “범용 AI” 돌파구가 올 거라고 믿는지 궁금함. 지금 말한 부분이, “우리가 곧 도달한다”고 믿는 AI 연구자들에게 회의적인 이유를 잘 표현해 준다고 느낌
    애초에 범용 AI가 정확히 무엇인지도 잘 정의되지 않는 듯함
  • 일부 도메인에서는 자가 평가만으로도 충분할 수 있음. 그러면 AI가 자기 기준에서 더 높은 점수를 받는 답을 찾기 위해 여러 번 시도하고 반복적으로 스스로 평가하게 됨
  • 좋은 가치 함수에 필요한 건 해당 작업의 고품질 시뮬레이션뿐임
    어떤 도메인은 이게 더 잘 됨. 예를 들어 수학의 정리 증명기는 성공 여부를 정확히 알려줌
    부수적으로 Lean에 인간 연구자를 돕는 탐색 비슷한 기능을 넣을 수 있고, 그러면 수학에서의 AI 진전에도 도움이 될 수 있음
  • Stockfish는 주어진 포지션에서 합법 수가 제한적이고, 지는 가지는 일찍 강하게 가지치기할 수 있는데도 40수 앞을 볼 때 수백만 개 포지션을 평가할 가능성이 큼
    최적 답 하나를 고르려고 LLM의 이어질 문장을 수백만 개 평가하는 비용은 상상하기도 어려움
    LLM에 트리 탐색이 더 말이 되는 지점은 단어 단위의 대안이 아니라, 더 굵은 단위의 “만약 이렇게 생각한다면” 경로를 탐색하는 추론일 수 있음. 그래도 생성과 평가·가지치기 비용이 쉽게 감당 불가능해질 수 있고, 이렇게 편향된 접근은 쓴 교훈에 부합한다기보다 오히려 정면으로 거스르는 면도 있어 보임

• 이건 일반적으로 풀기 정말 어려운 문제이고, Yann LeCun 같은 똑똑한 연구자들도 AGI를 만드는 데 탐색의 역할이 무엇인지 찾고 있음
  Yann의 현재 베팅은 Joint Embedding Predictive Architectures, 즉 JEPA를 표현 학습에 사용해 견고한 세계 모델을 만들고, 에이전트가 다른 행동을 시도해 이론을 시험하게 하는 방향으로 보임
  이 논문 [0]이 그의 잠재적 비전을 잘 정리하지만, 물론 단순히 탐색 + 트랜스포머보다 훨씬 어려운 일임
  언어가 세계를 충분히 잘 표현해서 에이전트가 그 위를 효과적으로 탐색하고 새롭고 유용한 아이디어를 낼 수 있다는 가정이 있음. 열린 질문처럼 느껴짐. LLM은 무엇을 알고 있나? 정말 아는 게 있나? 연구자들이 알아내야 함
  현재 LLM이 충분히 풍부한 세계 모델을 시뮬레이션할 수 있다면 탐색은 실제로 유용해질 수 있지만, 흉내만 내는 거라면 신뢰할 수 없는 믿음 위를 탐색하는 것뿐임
  그래서 영상이 중요함. 인간은 이미지의 연속에서 유용한 세계 모델을 뽑아낼 수 있다는 증거이기 때문임
  언어와 체스는 행동 공간이 사실상 이산적이라, 손실 계산을 위해 전체 입력을 재구성하는 생성 모델 학습이 가능함. 영상으로 넘어가면 트랜스포머가 연속 분포 위에서 확장돼야 하므로 유용한 예측 세계 모델을 만들기가 훨씬 어려워짐
  [0]: https://arxiv.org/abs/2306.02572

  • AGI가 가능하다는 생각 자체가 인간 두뇌를 컴퓨터로 보는 깊고 광범위한 상상에서 나온다고 느낌. 하지만 인간 두뇌는 컴퓨터가 아님
    아무리 복잡한 프로그램을 써도 여전히 튜링 기계이고, 인간은 근본적으로 그렇지 않음
    https://aeon.co/essays/your-brain-does-not-process-informati...
    인간 지능에 대한 정보 처리 은유는 이제 일상과 과학 모두에서 인간 사고를 지배함. 하지만 결국 이것도 우리가 실제로 이해하지 못하는 것을 이해하기 위해 만든 또 다른 은유일 뿐이고, 언젠가는 다른 은유나 실제 지식으로 대체될 것임
    같은 콘서트에서 Beethoven 5번을 들어도 내 뇌에서 일어나는 변화와 다른 사람의 뇌에서 일어나는 변화는 거의 확실히 완전히 다름. 각자의 독특한 경험으로 형성된 신경 구조 위에서 변화가 일어나기 때문임
    그래서 두 사람이 같은 이야기를 들어도 똑같이 반복하지 않고, 시간이 갈수록 그 반복이 더 달라짐. 이야기의 “복사본”이 만들어지는 게 아니라, 이야기를 들은 각 개인이 어느 정도 변화하는 것임
  • “정말 아는 게 있나?”에 대한 답은 예라고 봄. 다만 완전히 거짓인 것도 안다고 생각함
    LLM에서 관찰한 가장 큰 특징은 논리와 수학을 잘 다루지 못한다는 것임. “모른다”고 답하는 편이 나을 때도 명백히 거짓인 정보를 자신 있게 제공함. 이게 의도된 설계였을 가능성은 매우 낮다고 봄

• 글은 흥미로운 전제로 시작하지만, LLM 맥락에서 탐색이 무엇인지 정의하지 않고 “Pfizer가 더 많은 추론 컴퓨트로 오늘 GPT-8 능력에 접근할 수 있다”는 말도 설명하지 않아 부족함
  AI 실무자인데도 따라가기 어려웠음. 원글이 무슨 뜻인지 더 설명해 줄 수 있는 사람이 필요함
  체스 엔진의 탐색, 즉 몇 수 앞을 보는 방식은 결과를 순위화할 수 있는 목적 함수가 있기 때문에 가능해 보임. 어떤 잠재 수가 “더 나은지” 판단하는 지표가 있고, 이는 대개 강화학습의 고유한 특성에 가까움. LLM에도 그런 지표가 있는지 의문임

  • 이 지점이 나도 매우 혼란스러움
    추측하자면, 모델의 상위 예측 토큰 각각에 대해 몇 토큰씩 앞으로 실행해 보고, 어떤 가지가 학습 데이터 대비 가장 잘 수행되는지 추적한 다음 그 정보를 학습에 활용한다는 뜻일 수 있음
    하지만 탐색은 추론 시점의 효율을 높여야 하는데, 이 방식은 그렇게 하지 못함
  • 아마 그런 뜻인 것 같고, 그런 지표는 없다고 봄. 사람들은 적대적 평가를 시도하겠지만, 결국 평균적인 예측으로 수렴할 가능성이 커 보임
    또 LLM 추론은 싸지 않음. 추론 비용과 학습 비용의 절충은 애플리케이션별로 매우 다름. 추론 비용을 100배나 1000배 받아들이는 대신 학습 비용을 10배로 줄이는 게 말이 되는 도메인이 있을 수는 있음

• Charlie Steiner가 5년 전 Less Wrong에서 이미 짚었음
  GPT-3를 의학 교과서 묶음으로 학습시키고 알츠하이머 치료법을 말하라고 하면 치료법을 말하는 게 아니라, 인간이 알츠하이머 치료에 대해 말해 온 내용을 말할 것임
  논리적 오라클이라기보다, 학습 데이터 안의 연관성에 기반해 그럴듯한 이야기를 하는 직관적 오라클이 된다는 취지임
  알츠하이머 치료가 어렵다는 점이 의미하는 바는 이런 설계에 빠진 것이 있고, 그것이 탐색이라는 것임. 신경망이 치료법을 바로 출력하는 게 불가능하다는 뜻은 아니지만, 학습된 모델 안에 이미 “알츠하이머 치료법” 차원이 있어야 할 것처럼 보임
  치료법을 아직 모른다면 현실적인 방식은 여러 논리 단계를 거쳐 논리적 공간을 천천히 이동하고, 가능성을 점점 좁혀 결국 조건에 맞는 것을 찾는 일임. 즉 탐색 문제를 푸는 것임
  AI가 알츠하이머 치료법을 말할 수 있다면, 명시적으로 치료법을 탐색하고 있거나, 내부 상태가 암묵적으로 탐색을 수행하고 있을 가능성이 큼
  https://www.lesswrong.com/posts/EMZeJ7vpfeF4GrWwm/self-super...

  • 이를 GPT에 한정하지 않고 일반화하면 이렇게 말할 수 있을까 궁금함
    “논리 기계를 의학 교과서 묶음으로 학습시키고 알츠하이머 치료법을 말하라고 하면, 치료법이 아니라 그 교과서들이 알츠하이머 치료에 대해 말한 것을 말할 것이다”
    아마 그렇지는 않을 것 같음. GPT는 읽은 것을 되뱉고 재조합하는 데 대체로 제한돼 보이지만, 더 나은 논리를 가진 다른 알고리즘은 사실상 메타 연구를 할 수 있음. 지금까지의 모든 알츠하이머 실험 결과를 가져와 인간이 도달한 것보다 더 좁은 해결 공간까지 줄일 수 있다는 뜻임
    인간은 관련 결과를 한꺼번에 모두 담을 여유가 없을 수 있지만, 컴퓨터는 가능할 수 있음
    GPT에게 “단계별로 생각하라”고 하면 성능이 나아지므로, 필요한 논리의 어떤 형태는 분명 갖고 있음. “여기 데이터가 있으니 변환해 달라”도 잘 수행함
    한계는 논리의 품질과 그 변환을 수행할 수 있는 창의 크기에 있음. 다만 학습에서 기억한 데이터는 입력 토큰 창보다 훨씬 많을 수 있으므로 부분적 우회가 될 수 있음
    두 능력을 모두 갖고 있다면 확장이 불가능하다고 보기는 어려움. GPT의 진화형이 기존 데이터 안에서 알츠하이머 치료법을 찾을 가능성을 배제할 수 있는지 모르겠고, 이 작업에 더 적합한 시스템이라면 AGI까지 필요하지 않을 수도 있음
    물론 데이터 안에 해법에 필요한 구성 요소가 있어야 함. 하지만 인용문은 데이터에 모든 정보가 들어 있고 아직 완성된 해법만 없더라도, 치료법을 식별할 가능성 자체를 배제하는 듯함

• 탐색은 거의 확실히 필요하며, 조 단위 달러 클러스터를 주장하는 사람들은 이제 스마트폰에서도 돌아가는 초인적 체스 엔진을 만든 사람들과 이야기해 볼 필요가 있음
  누군가가 백만 달러짜리 클러스터, 또는 50만 개의 백만 달러 클러스터로 조 달러짜리 클러스터를 이기는 방법을 찾아낼 수도 있기 때문임
  체스에 대한 내 결론은, 체스의 분기 계수가 너비 우선 접근이 불가능할 정도로 커지지는 않는다는 것임. 중앙값 분기 계수, 즉 합법 수의 개수는 최대 약 40이고 보통 30 근처에 머무름
  실제 경기 포지션에서 본 가장 많은 수는 147개였지만, 그 시점에는 거의 모든 수가 체크메이트였음
  바둑 엔진을 초인적으로 만드는 일이 오랫동안 어려웠던 이유는 분기 계수가 체스보다 훨씬 컸기 때문임
  MCTS는 덜 철저하므로 완전 탐색이 약점을 찾아 악용할 수 있다는 건 말이 됨. 문제는 너비 우선 접근을 더 큰 게임과 상황에 적용할 수 있느냐인데, 답은 명확히 아니라고 봄
  현실 세계 상황의 분기 계수는 체스와 달리 몇 자릿수 더 큼
  다만 체스와 달리 현실에서는 대부분의 작은 결정이 별로 중요하지 않음. 뉴욕에서 LA로 갈 때 운전할지, 비행기를 탈지, 걸을지는 매우 중요함. 하지만 문밖을 나갈 때 왼발부터 내딛는지 오른발부터 내딛는지, 지금 눈을 깜빡이는지 2초 뒤에 깜빡이는지는 대체로 중요하지 않음

  • LLM의 분기 계수는 다음 가능한 토큰 수 기준으로 약 5만쯤 된다고 봄

• 글은 미래 예측에서 꽤 손에 잡히지 않고 과신하는 듯하지만, 시도해 볼 가치는 있어 보임
  “탐색”은 “생성하고 시험하기”와 거절 표본추출을 일반화한 것임. 고전 AI임
  닷컴 시대 이전에 AI 입문 수업을 들었을 때 Prolog로 탐색 프로그램을 쓰는 법을 배웠음
  속도는 후보 하나를 생성하는 데 걸리는 시간, 시험하는 데 걸리는 시간, 그리고 얼마나 많은 후보를 시도해야 하는지에 달려 있음. 이들이 느리면 전체도 느림
  인간이 루프에 들어간 거절 표본추출의 예는 이미지 생성기를 쓰면서 마음에 드는 이미지가 나올 때까지 다른 프롬프트를 계속 시도하는 것임. 하지만 새 이미지를 생성하는 시간이 오래 걸려 루프가 느림
  이미지 생성이 Google 이미지 검색처럼 빠르게 작동한다면 정말 의미 있는 무언가가 될 수 있음
  정리 증명과 프로그램 퍼징은 자동화되고 빠르며 좋은 평가 함수가 있으므로 LLM과 탐색을 결합하기에 좋아 보임
  Google이 원하는 LLM에 연결할 수 있는 퍼저 [1]를 공개한 것 같은데, 써 본 사람이 있는지 궁금함
  [1] https://github.com/google/oss-fuzz-gen

  • 정리 증명이나 계획 수립 분야에서 알려진 탐색 절차와 “평가 함수”는 이미 이론적으로 최적인 한계에 가까움
    그래서 필요한 건 새 평가나 탐색 절차가 아니라, 애초에 시도할 이유가 있음을 보장해 줄 새 수학임
    정리 증명을 예로 들면, SLD-Resolution은 귀납 추론을 위한 건전하고 완전한 자동 정리 증명 절차임. 공간 효율적인 구현으로는 깊이 우선 탐색을 쓸 수 있지만 좌재귀에서 루프에 빠질 수 있고, 시간 효율적인 구현으로는 메모이제이션을 곁들인 너비 우선 탐색을 쓸 수 있지만 공간 복잡도가 지수적으로 커짐
    여기에는 “평가 함수”가 적용되지 않음. Resolution 자체가 형식 논리 문장의 참, 혹은 참값의 확실성을 평가하는 함수의 일종이기 때문임
    그리고 이는 건전하고 완전하며, 명확한 논리에 대해 반결정 가능함. Church-Turing을 위반하지 않는 한 그게 최선임
    휴리스틱 탐색으로 효율을 개선할 수는 있음. 예를 들어 실무 SLD-Resolution의 중요한 부분인 포함 관계의 NP-난해성을 피하려고 그런 시도가 있었고, 이때 더 넓은 의미의 휴리스틱 비용 함수가 들어감
    하지만 두 가지 문제가 있음. a) 휴리스틱 탐색을 쓰면 완전성을 희생한다는 뜻이고, b) 계획 수립에서는 계획 문제를 완화해 휴리스틱 함수를 유도하는 꽤 탄탄한 방법이 이미 있음
    교훈은 건전성, 완전성, 효율성 중 둘만 고르라는 것임. LLM 같은 통계적 기계학습 접근은 기존 기법과 다른 둘을 고를 수 있을 뿐임
    기본적으로 탐색 기반 AI의 전체 성능 한계에서는 이제 주변부 이득만 얻을 수 있는 지점에 와 있음. 누군가 더 나은 수학을 내놓기 전까지는 거기에 머물 것임
  • 유명한 수학자이자 컴퓨터 보조 정리 증명의 강한 지지자인 Terence Tao는 기계학습이 정리 증명기 영역에서 새 길을 열 것이라고 봄

• Leela와 현재 Stockfish가 탐색하는 게임 공간은 이해한다고 생각함. 하지만 저자가 LLM이 어떤 가능성 공간을 탐색한다고 보는지 모르겠음

  1. 쓰인 단어들, 2) 수학·강화학습·재료과학 모델, 3) 체스의 게임 공간 같은 더 작고 형식화된 공간, 이 전부, 아니면 다른 무엇인지 불분명함. 어딘가에서 명확히 했는데 놓친 건지 모르겠음
  • 더 나은 탐색 알고리즘을 찾도록 탐색 알고리즘 자체가 탐색하길 원하는 것 같음. 즉 자기 개선임. 그러면 일부 더 좁은 도메인 제약은 사라질 수 있음

• LLM이 암 치료법을 발견하기 전에, 먼저 더 다루기 쉬운 문제인 “신의 치즈케이크”를 발견하게 해 보자고 제안함
  공정한 셰프 100명이 지금까지 먹어 본 것 중 가장 맛있다고 판정할 만큼 맛있는 치즈케이크임
  LLM은 훨씬 조합적으로 제한된 “치즈케이크 공간”을 지능적으로 탐색해서 최대한 맛있는 치즈케이크 레시피를 찾기만 하면 됨
  하지만 LLM은 치즈케이크를 구울 수 없고, 설령 굽더라도 그 맛을 평가할 수 없음
  AI가 “신의 치즈케이크” 문제를 풀기 전까지는 AGI에 대해 모두 조금 진정하는 게 좋겠음

  • 이 쿠키들은 아주 맛있었지만 신의 경지는 아니었음. 약간의 투자와 더 현대적인 기법을 쓰면 꽤 좋은 레시피를 만들 수 있고, 어쩌면 어떤 인간보다 더 잘할 수도 있다고 봄
    AI가 매우 경쟁적인 베이킹 대회에서 우승하는 레시피를 만들 수는 있을 것 같음. 다만 심사위원 100명 전원에게 이기는 건 누구에게도 불가능함
    https://static.googleusercontent.com/media/research.google.c...
  • 답이 “의미 있는 답을 주려면 2주와 5000달러가 필요하다”라면 어떻게 볼지 궁금함
  • 순전히 컴퓨터에서 실행되는 LLM의 한계 안에서도, LLM이 정말 훌륭한 단편 소설이나 좋은 광고 문안을 쓸 수 있다면 세상이 바뀔 일임
  • TikTok이 이 문제의 디지털 버전임
  • LLM 보조 프로그램으로 치즈케이크 레시피를 시행착오하고 심사위원단에 평가시키면 역사상 최고의 치즈케이크가 나오지 않을 거라고 생각하는 사람이 있나 싶음
    굽는 부분은 로보틱스라서 비교가 덜 공정하긴 하지만, 이미 어느 정도 가능함

• 저자가 알아차리지 못한 가장 큰 문제는 여기에 필요한 컴퓨트가 얼마나 큰가임
  이 글은 원숭이에게 시간을 주면 Shakespeare를 쓴다는 말과 같음. 물론 맞지만 탐색 공간은 다룰 수 없을 정도로 크고, 설령 어딘가에 답이 있어도 그 혼돈 속에서 찾지 못함
  1년 넘게 풀타임으로 가지치기·진화형 LLM 시스템을 만들고 있음
  여러 “탐색” 또는 “탐험” 알고리즘을 만들어 봤음. 문제는 여러 단계를 지나면 원래 생물학을 연구하거나 수행하라는 과제를 받은 에이전트가 전함 이야기를 하고 있다는 것임. 실제 이전 작업에서 나온 예임
  단일 단계만이 탐색 함수가 실제로 작동하는 거의 유일한 상황임. 다단계 에이전트는 가능성이 매우 빠르게 무한대로 폭발함
  단일 단계도 문제가 있음. 예를 들어 코딩 문제를 풀라는 제로샷 질문을 1000번 실행하면 더 나은 해를 찾는 데 도움이 될 수 있지만, 이는 제한된 탐색 공간이기 때문에 가능함. 그 제한은 좋은 점임
  최근 여러 LLM 모델에서 하나의 입력 프롬프트를 입력 설정만 바꿔 1만 번 추론하는 테스트를 했음. 개별 프롬프트가 무한한 응답 가능성을 갖는 건 아님. 제한되어 있음. 그래서 지금 LLM으로 기능할 수 있는 것임
  에이전트가 잘 안 되는 현상은 이 문제의 예임. 단일 단계 탐색 공간도 거대하지만, 에이전트가 한 단계 움직일 때마다 지수적으로 커짐
  이 문제를 풀기 위한 도구와 시스템을 만들고 있지만, 대규모 탐색은 “AI 모델 크기를 100배 키우면 해결된다”고 말하는 것만큼이나 멀어 보임
  자율성은 지능이나 추론과 같지 않음

• “Leela Chess Zero는 규칙만 알고 시작했기 때문에 zero라고 불렸다”는 표현은 흔하지만 틀렸음
  Leela와 그 계열에는 성능에 필수적인 또 다른 체스 특화 지식이 있음. 바로 체스 게임을 게임 트리로 표현하는 게임 세계 모델임. 각 플레이어의 차례마다 한 ply로 나뉘는 구조임
  이 게임 트리를 minimax나 Monte Carlo Tree Search 같은 적대적 탐색 알고리즘이 탐색함. Leela는 내가 이해하기로 MCTS를 선택함
  게임을 게임 트리로 더 정확히 모델링하는 방식은 체스뿐 아니라 많은 게임에 적용됨. 하지만 체스 엔진에서 쓰는 특정한 게임 트리는 체스와 비슷한 2인 제로섬 완전정보 보드게임에 맞는 형태임
  다른 종류의 게임에는 다른 모델과 다른 탐색 알고리즘이 필요함. 예를 들어 Poker와 Libratus [1]를 보면 됨
  이런 게임 트리, 즉 게임 세계 모델은 우수한 성능이 목표라면 현재로서는 없앨 수 없음. 글은 무탐색 알고리즘을 언급하고 그 핵심 한계, 즉 “왜?”를 짧게 건드림
  이것이 쓴 교훈에 대해 갖는 문제의식이기도 함. 무엇을 도메인 지식, 즉 이론으로서의 “모델”로 볼지 편의적으로 선택하기 때문임
  Rodney Brooks [2] 등도 말했듯, 합성곱 신경망은 위치 불변성을 세우기 위해 합성곱 층을 사용한 덕분에 이미지 분류를 지배했음. 그것은 인간이 발명한 기계 시각 모델임
  게임 트리가 인간이 발명한 게임 모델인 것과 같고, AI와 기계학습에서 지금까지 해 온 대부분도 마찬가지임. 인간이 세계, 환경, 도메인, 과정의 모델을 만들고 컴퓨터가 그 모델로 계산하며, 때로는 체스·바둑처럼 인간을 능가하거나 최소한 손수 만든 해법으로는 맞출 수 없는 결과를 냄
  배워야 할 교훈은 따로 있음. 인간 모델 + 기계 계산은 지난 80년간 AI의 모든 어려운 문제를 풀어 왔음. 그리고 우리는 이와 조금이라도 다른 일을 하는 법을 전혀 모름
  [1] https://en.wikipedia.org/wiki/Libratus
  [2] https://rodneybrooks.com/a-better-lesson/

  • 관찰만으로 세계 모델을 만드는 알고리즘은 아직 보지 못했음. 힌트는 봤지만 인간 같은 수준은 아님
    언젠가는 올 것임. 흥미로운 시대를 살고 있음