환각을 적분해서 얻은 생각
(brunch.co.kr/@ninetailedwolf)최신 LLM은 뛰어난 능력을 보여주지만, 덧셈과 같은 비교적 단순한 결정론적 문제에서도 여전히 오류를 범하고 있다. 라주(Raju)와 네트라팔리(Netrapalli)는 물리학의 유효 장 이론(Effective Field Theory)에서 영감을 받아, 수천억 개의 파라미터를 가진 LLM의 오류율을 단 두 개의 파라미터로 설명하는 모델을 제안한다.
이들에 의하면 LLM의 오류는 '지능 부족'이 아니라 '신호 잡음'이다. 기존에는 LLM이 엉뚱한 답을 내놓는 환각 현상을 모델이 논리적 추론을 못해서 발생하는 "추론의 붕괴(collapse of reasoning)"라고 해석하는 경향이 있었다. 하지만 이 논문은 이를 "어텐션 메커니즘의 미세한 노이즈가 임계치를 넘을 때 발생하는 확률적 사고"로 정의한다. 즉, 모델이 몰라서 틀리는 게 아니라, 연산 과정에서 잡음이 쌓여서 '그럴듯하지만 틀린 토큰(plausible erroneous tokens)'으로 미끄러지는 현상이라는 것이다. 그래서 이들은 LLM 오류 모델을 아래의 수식으로 제안한다.
해당 글에서 깊은 통찰을 느꼈고 제가 요즘 고민하는 지점들을 명확히 언어화 해주신 것 같아서 너무나 반갑습니다!
저는 지금 AI 를 어떻게하면 '결정론적'으로 다룰 수 있을지 고민하는 "Manifesto" 라는 오픈소스를 개발하고있습니다.
최근 "어떻게 하면 사람의 의도를 명확히 결정론적으로 처리할 수 있을까?" 라는 지점을 고민하면서 개인적으로 움베르트 에코의 "일반 기호학 이론" 을 읽으면서 그 방법을 사유하고 있었습니다.
아직 어렵고 낮선 용어들이 많지만 code 와 s-code 그리고 그것들이 조합되면서 무한한 의미 공간을 유한하게 계산 가능하다는 그의 통찰은 제 프로젝트의 가장 깊은 뼈대가 되었습니다!
최근 집중중인 작업은 자연어을 촘스키의 통사론을 기반으로 한 Intent IR(중간언어)로 뽑아내서 의미공간을 재약시키는 구현을 해보고 있습니다.
혹시나 관심이 있으시다면 https://github.com/manifesto-ai/core 를 한번 살펴봐주시고 자유롭게 의견을 나눌 수 있으면 좋겠습니다!
저자님의 "에코로 AI 읽기" 라는 책은 꼭 사서 읽어보도록 하겠습니다!