Hacker News 의견

해커뉴스 댓글 요약

• 검색의 효과는 가치 함수의 품질과 밀접한 관련이 있음: 현재 가치 함수는 특정 도메인에 매우 특화되어 있으며, 새로운 도메인에 일반화할 수 있는 가치 함수를 만들 수 있다는 증거는 부족함.
• Yann LeCun의 연구: Yann LeCun은 AGI를 만들기 위해 검색의 역할을 연구 중이며, JEPA를 통해 견고한 세계 모델을 구축하려고 함.
• 언어 모델의 한계: 현재 LLM이 충분히 풍부한 세계 모델을 시뮬레이션할 수 있는지에 대한 의문이 있으며, 비디오가 중요한 이유는 인간이 이미지 시퀀스에서 유용한 세계 모델을 추출할 수 있기 때문임.
• 기사의 모호함: 게시물은 흥미로운 전제를 가지고 시작하지만, LLM의 맥락에서 검색을 정의하지 않으며, "Pfizer가 오늘 GPT-8 기능을 사용할 수 있다"는 주장을 설명하지 않음.
• 체스 엔진의 검색: 체스 엔진의 검색은 객관적인 함수가 있어 가능한데, LLM에는 그러한 메트릭이 있는지 의문임.
• 검색의 필요성: 검색은 거의 확실히 필요하며, 저비용 클러스터가 고비용 클러스터를 이길 수 있는 방법을 찾는 것이 중요함.
• 체스와 다른 게임의 차이: 체스는 가지치기 요소가 적어 폭넓은 접근이 가능하지만, 현실 세계의 상황은 가지치기 요소가 훨씬 큼.
• 검색의 일반화: 검색은 "생성 및 테스트"와 거절 샘플링의 일반화이며, 속도는 후보 생성과 테스트 시간에 따라 달라짐.
• 웹사이트 문제: 특정 웹사이트가 기본 브라우저 기능을 방해하여 불편함을 초래함.
• Leela Chess Zero의 게임 트리: Leela는 체스 게임을 게임 트리로 모델링하여 검색 알고리즘을 사용함.
• LLM의 검색 가능성: LLM이 검색할 수 있는 가능성 공간이 명확하지 않음.
• LLM의 한계: LLM이 치즈케이크를 만들거나 평가할 수 없으므로 AGI에 대한 기대를 낮출 필요가 있음.
• 정보 이론적 문제: LLM 훈련에 너무 많은 데이터가 필요하다는 점에서 일반화와 내부 세계 모델링의 부족이 문제임.