지능의 연속체 가설을 생각해보자. 신이 존재하고 무한한 지능을 가지고 있다고 가정해보자. 신은 모든 것을 알고 있으므로 탐색이 필요하지 않다. 모든 패턴을 알고 있고 그 즉시 가장 좋은 의사결정을 할수 있으며 한번의 의사결정으로 바로 문제를 해결할 수 있다.
우선 이 가정은 (우리 물리계 내부의 관측자/계산자라는 전제에서) 불확정성 원리 때문에 불가능합니다(라플라스의 악마 참조). 그리고 정보를 다루는 행위에서 삭제/초기화 같은 비가역적 과정은 엔트로피 증가를 수반하므로(란다우어의 원리) 결국 학습/계산 등의 정보처리 행위는 물리계에서 에너지, 시간, 열 조건에 의해 상한이 생깁니다
그리고 LLM을 굳이 뇌와 비교하자면, 1. 사람의 뇌 상태를 통째로 얼려서 추가적인 학습/개선이 불가능하게 해놓고 2. 모든 감각기관을 제거한 다음에 3. 점자 시퀀스만 먹이고 뱉게 만든 형태라고 생각합니다. 결국 밖에서 보면 이 뇌는 LLM이랑 구별이 안될걸요? 그럼 이 뇌는 지능적이지 않은건가요?
우선 이 가정은 (우리 물리계 내부의 관측자/계산자라는 전제에서) 불확정성 원리 때문에 불가능합니다(라플라스의 악마 참조). 그리고 정보를 다루는 행위에서 삭제/초기화 같은 비가역적 과정은 엔트로피 증가를 수반하므로(란다우어의 원리) 결국 학습/계산 등의 정보처리 행위는 물리계에서 에너지, 시간, 열 조건에 의해 상한이 생깁니다