1P by neo 5달전 | favorite | 댓글 1개

Leela Chess Zero의 한계

  • Leela Chess Zero는 자가 대국을 통해 수십억 번의 학습을 거쳐 세계 챔피언이 되었음
  • 하지만 Stockfish에게 완패하였음
  • 더 큰 네트워크를 학습시켜도 Stockfish를 이기지 못하였음
  • Stockfish는 Leela보다 훨씬 작은 모델을 사용하였지만, 더 나은 탐색 능력으로 승리하였음

Stockfish의 승리에 대한 더 많은 생각

  • Leela는 검색을 잘하지 못해 세계 챔피언 자리를 내주었음
  • LLM에 검색 능력을 추가하는 것이 가까이 다가왔지만, 주목받지 못하고 있음
  • GPT-4와 같은 Foundation 모델은 검색 능력이 없음
  • 검색을 가능하게 하기 위해 더 큰 모델이 필요하다는 가정이 지배적이지만, 반례가 존재함
  • DeepMind의 연구에 따르면 체스 알고리즘에서 검색 행동이 자연스럽게 출현함
  • 효율적인 검색 알고리듬이 있는데 비효율적인 선행 검색이 큰 모델에서 우연히 출현하기를 기다릴 필요가 없음
  • 오늘날의 모델은 검색을 가능하게 하기에 충분히 크고, 불필요할 정도로 클 수도 있음

검색은 대상 영역에 대한 컴퓨팅 자원 할당을 가능하게 함

  • 제약회사가 AI를 이용해 신약을 연구하려 한다고 가정
  • AI 검색이 가능한 세상에서는 두 가지 선택지가 있음
    1. 2030년까지 기다려 OpenAI가 4차수 큰 모델을 출시하기를 기다리거나
    2. 오늘 당장 4차수 더 많은 추론 컴퓨팅 자원을 사용하는 것
  • 제약회사는 두 번째 선택지를 선호할 것임
  • 탐색을 통해 2030년 ASI 수준의 능력을 당장 활용 가능

검색 기반 AI 발전 시나리오

  • 기존 모델에서 검색이 작동한다는 것이 발견됨
  • 정부나 대형 연구소가 AI 연구나 해외 정보 수집에 검색을 즉시 적용할 수 있음을 인지
  • 추론 컴퓨팅 자원이 제한되어 정부나 대형 연구소가 보안이나 AI 연구에 한정
  • 검색 주도 AI 발전으로 더 효율적인 탐색 알고리즘과 모델 아키텍처 발견
  • 검색은 더 많은 학습 데이터를 요구하지 않아 '데이터 장벽' 문제 해소
  • 지능 폭발이 2030년이 아닌 내년부터 시작됨

AI 자체 연구에 검색 적용 가능성

  • AI가 스스로를 연구할 수 있을 만큼 충분히 발전하면 급격한 발전 역학이 예상됨
  • 제약회사가 GPT-8을 기다리지 않고 신약을 연구할 수 있듯이, AI 연구소도 더 큰 모델을 기다리지 않고 AI를 연구할 수 있게 됨
  • 인간 AI 연구자를 대체하기 위해서는 더 많은 제한 해제가 필요할 수 있음
  • 하지만 GPT-8 수준의 지능을 가진 단순한 챗봇으로도 AI 발전 가속화에 충분할 것으로 예상됨
Hacker News 의견

해커뉴스 댓글 요약

  • 검색의 효과는 가치 함수의 품질과 밀접한 관련이 있음: 현재 가치 함수는 특정 도메인에 매우 특화되어 있으며, 새로운 도메인에 일반화할 수 있는 가치 함수를 만들 수 있다는 증거는 부족함.
  • Yann LeCun의 연구: Yann LeCun은 AGI를 만들기 위해 검색의 역할을 연구 중이며, JEPA를 통해 견고한 세계 모델을 구축하려고 함.
  • 언어 모델의 한계: 현재 LLM이 충분히 풍부한 세계 모델을 시뮬레이션할 수 있는지에 대한 의문이 있으며, 비디오가 중요한 이유는 인간이 이미지 시퀀스에서 유용한 세계 모델을 추출할 수 있기 때문임.
  • 기사의 모호함: 게시물은 흥미로운 전제를 가지고 시작하지만, LLM의 맥락에서 검색을 정의하지 않으며, "Pfizer가 오늘 GPT-8 기능을 사용할 수 있다"는 주장을 설명하지 않음.
  • 체스 엔진의 검색: 체스 엔진의 검색은 객관적인 함수가 있어 가능한데, LLM에는 그러한 메트릭이 있는지 의문임.
  • 검색의 필요성: 검색은 거의 확실히 필요하며, 저비용 클러스터가 고비용 클러스터를 이길 수 있는 방법을 찾는 것이 중요함.
  • 체스와 다른 게임의 차이: 체스는 가지치기 요소가 적어 폭넓은 접근이 가능하지만, 현실 세계의 상황은 가지치기 요소가 훨씬 큼.
  • 검색의 일반화: 검색은 "생성 및 테스트"와 거절 샘플링의 일반화이며, 속도는 후보 생성과 테스트 시간에 따라 달라짐.
  • 웹사이트 문제: 특정 웹사이트가 기본 브라우저 기능을 방해하여 불편함을 초래함.
  • Leela Chess Zero의 게임 트리: Leela는 체스 게임을 게임 트리로 모델링하여 검색 알고리즘을 사용함.
  • LLM의 검색 가능성: LLM이 검색할 수 있는 가능성 공간이 명확하지 않음.
  • LLM의 한계: LLM이 치즈케이크를 만들거나 평가할 수 없으므로 AGI에 대한 기대를 낮출 필요가 있음.
  • 정보 이론적 문제: LLM 훈련에 너무 많은 데이터가 필요하다는 점에서 일반화와 내부 세계 모델링의 부족이 문제임.