Leela Chess Zero의 한계
- Leela Chess Zero는 자가 대국을 통해 수십억 번의 학습을 거쳐 세계 챔피언이 되었음
- 하지만 Stockfish에게 완패하였음
- 더 큰 네트워크를 학습시켜도 Stockfish를 이기지 못하였음
- Stockfish는 Leela보다 훨씬 작은 모델을 사용하였지만, 더 나은 탐색 능력으로 승리하였음
Stockfish의 승리에 대한 더 많은 생각
- Leela는 검색을 잘하지 못해 세계 챔피언 자리를 내주었음
- LLM에 검색 능력을 추가하는 것이 가까이 다가왔지만, 주목받지 못하고 있음
- GPT-4와 같은 Foundation 모델은 검색 능력이 없음
- 검색을 가능하게 하기 위해 더 큰 모델이 필요하다는 가정이 지배적이지만, 반례가 존재함
- DeepMind의 연구에 따르면 체스 알고리즘에서 검색 행동이 자연스럽게 출현함
- 효율적인 검색 알고리듬이 있는데 비효율적인 선행 검색이 큰 모델에서 우연히 출현하기를 기다릴 필요가 없음
- 오늘날의 모델은 검색을 가능하게 하기에 충분히 크고, 불필요할 정도로 클 수도 있음
검색은 대상 영역에 대한 컴퓨팅 자원 할당을 가능하게 함
- 제약회사가 AI를 이용해 신약을 연구하려 한다고 가정
- AI 검색이 가능한 세상에서는 두 가지 선택지가 있음
- 2030년까지 기다려 OpenAI가 4차수 큰 모델을 출시하기를 기다리거나
- 오늘 당장 4차수 더 많은 추론 컴퓨팅 자원을 사용하는 것
- 제약회사는 두 번째 선택지를 선호할 것임
- 탐색을 통해 2030년 ASI 수준의 능력을 당장 활용 가능
검색 기반 AI 발전 시나리오
- 기존 모델에서 검색이 작동한다는 것이 발견됨
- 정부나 대형 연구소가 AI 연구나 해외 정보 수집에 검색을 즉시 적용할 수 있음을 인지
- 추론 컴퓨팅 자원이 제한되어 정부나 대형 연구소가 보안이나 AI 연구에 한정
- 검색 주도 AI 발전으로 더 효율적인 탐색 알고리즘과 모델 아키텍처 발견
- 검색은 더 많은 학습 데이터를 요구하지 않아 '데이터 장벽' 문제 해소
- 지능 폭발이 2030년이 아닌 내년부터 시작됨
AI 자체 연구에 검색 적용 가능성
- AI가 스스로를 연구할 수 있을 만큼 충분히 발전하면 급격한 발전 역학이 예상됨
- 제약회사가 GPT-8을 기다리지 않고 신약을 연구할 수 있듯이, AI 연구소도 더 큰 모델을 기다리지 않고 AI를 연구할 수 있게 됨
- 인간 AI 연구자를 대체하기 위해서는 더 많은 제한 해제가 필요할 수 있음
- 하지만 GPT-8 수준의 지능을 가진 단순한 챗봇으로도 AI 발전 가속화에 충분할 것으로 예상됨