AI 환각의 원인-1: H-뉴런은 죄가 없다.
(brunch.co.kr/@ninetailedwolf)최근 ChatGPT나 LLM을 사용하면서 겪는 AI 환각 현상(Hallucination), 도대체 왜 발생하는 걸까요? 많은 분이 프롬프트 엔지니어링으로 해결하려 하지만, 칭화대의 H-뉴런(H-Neurons) 연구는 이것이 기술적 문제가 아님을 시사합니다. 이를 AI 인문학 관점에서 분석해 보았습니다.
언어라는 체계를 배우는 것이 환각 현상의 근본 원인이라고 지목하는 부분은 논리적 비약이 있는 것 같습니다.
환각 현상의 필연성을 주장하는 논의에서는 "임의의 입력을 받아 유한한 데이터 및 연산량만으로 정답에 근사한 내용을 출력하려 시도하면 어떤 출력에서는 항상 오답(=환각)이 나올 수밖에 없다."라고 논하고 있는 것으로 압니다. 여기에는 언어라는 체계가 반드시 필수적인 전제는 아니며, 따라서 환각이라는 현상은 언어 모델에만 국한되는 현상이 아닌 것으로 이해됩니다. 그러므로 환각 자체는 이런 시스템에서 필연적이지만, "모르겠다"는 답을 허용하는 설계 등으로 환각을 일정 수준 이하로 억제하는 것은 가능하리라는 주장이 나오고 있는 것으로 알고 있습니다.
그렇다면 언어를 학습하는 언어 모델의 환각이 더 본질적으로 필연이라고 결론내리기 위해서는, 언어라는 조건이 추가됨으로서 필연성이 강화되는 메커니즘에 대한 근거가 추가로 필요하지 않을까요?
또, 인용하신 논문에서 H-뉴런은 '과도한 순응 성향'을 불러일으키는 회로라고 지적되고 있습니다. 그런데 글 뒷부분에서는 이를 "'유창함'을 위해 생성된 기관"이라고 의미를 확장하고 있습니다. 이 글에서 제시된 내용만으로는 어떠한 근거로 이런 결론이 나왔는지 이해가 어렵습니다.
제가 이해하기로는 H-뉴런은 환각 현상을 발생시키는 여러 메커니즘 중 하나일 뿐인데, 이것이 환각의 본질과 맞닿아 있다는 주장에는 근거가 더 필요해 보입니다.
날카로운 지적에 깊이 감사드립니다. 말씀하신 대로 공학/정보이론적 관점에서 환각이 '유한한 자원에 의한 압축과 근사'의 문제라는 점에 전적으로 동의합니다.
다만, 저는 여기에 '데이터의 본질(기호)'이라는 층위를 더해 해석해 보았습니다. 기계적 한계(압축 손실)도 분명 존재하지만, 인간의 기호 자체가 태생적으로 대상을 완벽하게 지시하지 못하는 불완전성(빈틈)을 가지고 있기에, 이를 확률적으로 메우려는 시도가 필연적으로 '환각'으로 이어진다고 보았습니다. 즉, 기계적 필연성 위에 기호학적 필연성이 덧씌워진 상태로 접근한 것입니다.
또한 말씀하신 대로 환각은 언어 모델에만 국한되지 않습니다. 기호학 역시 언어뿐만 아니라 비언어적 상징(이미지 등)도 포괄하기에, 다른 모델의 환각 현상도 넓은 의미의 '기호적 불일치'로 설명될 여지가 있다고 봅니다. 다만 이 글에서는 H-뉴런 논문과 LLM을 주로 다루다 보니 언어에 집중하여 설명했습니다.
H-뉴런의 '순응'을 '유창함'으로 확장한 것은, LLM이 문맥(Context)에 기계적으로 순응하여 이야기를 매끄럽게 이어가려는 속성이, 결국 외부 관찰자(인간)에게는 질문에 막힘없이 대답하는 '유창함'으로 관측된다고 보았기 때문입니다.
이어지는 2편에서는 텍스트가 축적되는 역사적 맥락을 다룰 예정입니다. 순수 기술적 분석과는 결이 다르지만, '데이터의 이면'을 바라보는 또 하나의 시각으로 흥미롭게 봐주시면 감사하겠습니다.
특히 3편에서는 선생님께서 언급하신 '모른다(정답 없음)'의 문제와, 근원적인 해결책에 대한 제 고민도 함께 풀어낼 예정입니다.
남겨주신 고견 덕분에 글의 부족한 부분이 채워지는 것 같습니다. 감사합니다.
상세한 설명 감사드립니다.
그러니까 댓글까지 포함하여 주장하시는 내용을 제가 이해한 대로 해석해 보면 다음과 같은 요지인 것 같습니다.
- 인간은 관찰 가능한 몇몇 사실을 통해 알지 못하는 빈 부분에 대한 예측을 하고, 이를 통해 이야기(서사)를 구축해 왔다.
- 언어는 이렇게 비어 있는 부분을 적당히 메우기 위한 것일지도 모르므로, "언어는 질문에 순응하는 체계"이다.
- 기표와 기의 사이에는 본질적으로 간극이 존재하므로, 기표는 기의를 완전하게 지시할 수 없다.
- 따라서 인간이 사용하는 기표의 축적을 확률적으로 학습한 AI 모델 또한 그 모든 한계를 고스란히 가져올 수밖에 없다.
- 현실을 검증할 수 없는 AI는 외부의 사실보다 내부의 개연성을 우선시한다.
- H-뉴런은 거짓말 경험들을 통계적 그물망 안에 매듭지은 것이다.
- H-뉴런을 억제해야 진실을 말한다는 것은 AI의 자연스러운 상태는 거짓말을 포함하고 있다는 의미이다.
- AI가 생성한 텍스트를 다시 AI가 학습하는 것은 그럴듯한 거짓말(환각)이 다시 복제물을 낳는 폐쇄회로(시뮬라크르 순환)를 완성한다.
- 환각 현상을 제거하기 위해서는, 먼저 AI 모델 스스로가 무엇을 알고 무엇을 모르는지 아는 '자기 인식'이 전제되어야만 한다.
이러한 이해가 맞을까요?
여기서 제가 추가로 질문하고 싶은 부분은 다음과 같습니다.
-
언어가 예측을 위한 도구라는 점은 앞뒤가 바뀐 게 아닐까 합니다.
예측이라는 것이 뇌 내지는 지능 전반의 속성이라고 하면 모를까, 언어를 통하여 그것이 구현된다는 건 이치에 맞지 않는 것처럼 보입니다.
특히 "언어는 질문에 순응하는 체계"라는 것은 가설에 불과해 보이는데, 이를 뒷받침할 만한 구체적인 근거가 있는지 궁금합니다. -
기표와 기의 사이의 간극은 보통 불확실성이나 다의성 등을 의미하는 것으로 알고 있습니다.
그런데 이것이 AI 모델에서 모르겠다는 답변을 출력하는 것이 아니라 필연적으로 자신만만한 오답(환각)이 된다라는 점의 연결 고리를 잘 모르겠습니다.
필연성을 주장하기 위해서는 단순히 현 시점의 AI에 존재하는 구조적 한계가 아니라, 좀 더 근본적인 지점에서의 한계를 제시해야 한다고 생각합니다. -
AI가 내부의 개연성을 우선시한다는 것이나 H-뉴런이 거짓말 경험을 매듭지은 것이라는 부분을 잘 모르겠습니다.
거짓말 경험을 매듭지었다는 것은, AI가 자체적으로 거짓말을 별도의 범주로 인지하고 학습했다는 의미일까요?
현재의 AI는 학습 데이터 안의 내용에서 진실이나 거짓을 스스로 판정하지 않고 무비판적으로 받아들인다고 보는 게 더 맞지 않을까요? -
H-뉴런이 강화하는 과도한 순응 성향은 AI의 내부 지식이나 상태와 관계 없이 사용자의 입력에 최대한 맞춰 주려는 성향입니다.
AI가 학습한 데이터 안에 거짓되거나 모순된 정보가 포함되어 있을 수는 있겠으나, AI가 마치 스스로 거짓말을 하려는 어떤 의도를 가지고 있는 것처럼 서술하는 것은 논리적 비약으로 보입니다.
설령 H-뉴런이 어떤 "의도"를 인코딩하는 거라고 가정해도, 논문 내용을 감안하면 그건 바로 입력 프롬프트에 최대한 맞춰 주고자 하는 것이 아닐까 합니다. -
"자기 인식"이라는 말의 의미에 대해서 확인이 필요합니다.
말씀하신 "자기 인식"이란 단순한 자기 지식 범위의 경계 및 불확실성을 내부적으로 추정하는 것일 뿐인지, 아니면 정말로 인간이 가진 자기 인식을 뜻하는 것인지 확인 부탁드립니다.
만약 후자의 의미인 경우, 이와 관련하여 알고 계신 것이나 참고자료가 있는지도 알려주시면 감사하겠습니다.