# AI 검색: 더 씁쓸한 교훈

> Clean Markdown view of GeekNews topic #15358. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=15358](https://news.hada.io/topic?id=15358)
- GeekNews Markdown: [https://news.hada.io/topic/15358.md](https://news.hada.io/topic/15358.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-06-16T08:33:59+09:00
- Updated: 2024-06-16T08:33:59+09:00
- Original source: [yellow-apartment-148.notion.site](https://yellow-apartment-148.notion.site/AI-Search-The-Bitter-er-Lesson-44c11acd27294f4495c3de778cd09c8d)
- Points: 1
- Comments: 1

## Topic Body

### Leela Chess Zero의 한계  
  
- Leela Chess Zero는 자가 대국을 통해 수십억 번의 학습을 거쳐 세계 챔피언이 되었음  
- 하지만 Stockfish에게 완패하였음  
- 더 큰 네트워크를 학습시켜도 Stockfish를 이기지 못하였음  
- Stockfish는 Leela보다 훨씬 작은 모델을 사용하였지만, 더 나은 탐색 능력으로 승리하였음  
  
### Stockfish의 승리에 대한 더 많은 생각  
  
- Leela는 검색을 잘하지 못해 세계 챔피언 자리를 내주었음  
- LLM에 검색 능력을 추가하는 것이 가까이 다가왔지만, 주목받지 못하고 있음  
- GPT-4와 같은 Foundation 모델은 검색 능력이 없음  
- 검색을 가능하게 하기 위해 더 큰 모델이 필요하다는 가정이 지배적이지만, 반례가 존재함  
- DeepMind의 연구에 따르면 체스 알고리즘에서 검색 행동이 자연스럽게 출현함  
- 효율적인 검색 알고리듬이 있는데 비효율적인 선행 검색이 큰 모델에서 우연히 출현하기를 기다릴 필요가 없음  
- 오늘날의 모델은 검색을 가능하게 하기에 충분히 크고, 불필요할 정도로 클 수도 있음  
  
### 검색은 대상 영역에 대한 컴퓨팅 자원 할당을 가능하게 함  
  
- 제약회사가 AI를 이용해 신약을 연구하려 한다고 가정  
- AI 검색이 가능한 세상에서는 두 가지 선택지가 있음  
  1. 2030년까지 기다려 OpenAI가 4차수 큰 모델을 출시하기를 기다리거나  
  2. 오늘 당장 4차수 더 많은 추론 컴퓨팅 자원을 사용하는 것  
- 제약회사는 두 번째 선택지를 선호할 것임  
- 탐색을 통해 2030년 ASI 수준의 능력을 당장 활용 가능  
  
### 검색 기반 AI 발전 시나리오   
  
- 기존 모델에서 검색이 작동한다는 것이 발견됨  
- 정부나 대형 연구소가 AI 연구나 해외 정보 수집에 검색을 즉시 적용할 수 있음을 인지  
- 추론 컴퓨팅 자원이 제한되어 정부나 대형 연구소가 보안이나 AI 연구에 한정  
- 검색 주도 AI 발전으로 더 효율적인 탐색 알고리즘과 모델 아키텍처 발견  
- 검색은 더 많은 학습 데이터를 요구하지 않아 '데이터 장벽' 문제 해소  
- 지능 폭발이 2030년이 아닌 내년부터 시작됨  
  
### AI 자체 연구에 검색 적용 가능성  
  
- AI가 스스로를 연구할 수 있을 만큼 충분히 발전하면 급격한 발전 역학이 예상됨  
- 제약회사가 GPT-8을 기다리지 않고 신약을 연구할 수 있듯이, AI 연구소도 더 큰 모델을 기다리지 않고 AI를 연구할 수 있게 됨  
- 인간 AI 연구자를 대체하기 위해서는 더 많은 제한 해제가 필요할 수 있음  
- 하지만 GPT-8 수준의 지능을 가진 단순한 챗봇으로도 AI 발전 가속화에 충분할 것으로 예상됨

## Comments



### Comment 26291

- Author: neo
- Created: 2024-06-16T08:34:00+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=40683697) 
##### 해커뉴스 댓글 요약

- **검색의 효과는 가치 함수의 품질과 밀접한 관련이 있음**: 현재 가치 함수는 특정 도메인에 매우 특화되어 있으며, 새로운 도메인에 일반화할 수 있는 가치 함수를 만들 수 있다는 증거는 부족함.
- **Yann LeCun의 연구**: Yann LeCun은 AGI를 만들기 위해 검색의 역할을 연구 중이며, JEPA를 통해 견고한 세계 모델을 구축하려고 함.
- **언어 모델의 한계**: 현재 LLM이 충분히 풍부한 세계 모델을 시뮬레이션할 수 있는지에 대한 의문이 있으며, 비디오가 중요한 이유는 인간이 이미지 시퀀스에서 유용한 세계 모델을 추출할 수 있기 때문임.
- **기사의 모호함**: 게시물은 흥미로운 전제를 가지고 시작하지만, LLM의 맥락에서 검색을 정의하지 않으며, "Pfizer가 오늘 GPT-8 기능을 사용할 수 있다"는 주장을 설명하지 않음.
- **체스 엔진의 검색**: 체스 엔진의 검색은 객관적인 함수가 있어 가능한데, LLM에는 그러한 메트릭이 있는지 의문임.
- **검색의 필요성**: 검색은 거의 확실히 필요하며, 저비용 클러스터가 고비용 클러스터를 이길 수 있는 방법을 찾는 것이 중요함.
- **체스와 다른 게임의 차이**: 체스는 가지치기 요소가 적어 폭넓은 접근이 가능하지만, 현실 세계의 상황은 가지치기 요소가 훨씬 큼.
- **검색의 일반화**: 검색은 "생성 및 테스트"와 거절 샘플링의 일반화이며, 속도는 후보 생성과 테스트 시간에 따라 달라짐.
- **웹사이트 문제**: 특정 웹사이트가 기본 브라우저 기능을 방해하여 불편함을 초래함.
- **Leela Chess Zero의 게임 트리**: Leela는 체스 게임을 게임 트리로 모델링하여 검색 알고리즘을 사용함.
- **LLM의 검색 가능성**: LLM이 검색할 수 있는 가능성 공간이 명확하지 않음.
- **LLM의 한계**: LLM이 치즈케이크를 만들거나 평가할 수 없으므로 AGI에 대한 기대를 낮출 필요가 있음.
- **정보 이론적 문제**: LLM 훈련에 너무 많은 데이터가 필요하다는 점에서 일반화와 내부 세계 모델링의 부족이 문제임.