LLM의 영원한 환각 현상, 우리가 받아들여야 할 현실

• LLM 환각은 일부 상황의 실수가 아니라 시스템의 본질적 특성으로, 활용 범위가 넓어질수록 이 한계를 전제로 한 판단이 필요함
• 환각은 수학적·논리적 구조에서 비롯되므로, 아키텍처·데이터셋·팩트체킹 개선만으로 완전히 제거하기 어려움
• 분석은 계산 이론과 Gödel의 제1 불완전성 정리를 바탕으로, Halting Problem·Emptiness Problem·Acceptance Problem 같은 결정 불가능 문제를 참조함
• 학습 데이터 구성, 사실 검색, 의도 분류, 텍스트 생성 등 각 단계에는 환각을 만들 0이 아닌 확률이 남아 있음
• “Structural Hallucinations”는 환각을 LLM 내부에 내재한 구조적 성질로 보고, 완전한 완화가 가능하다는 통념에 도전함

---

LLM 환각의 구조적 한계

• LLM이 여러 도메인에서 널리 쓰일수록 모델의 내재적 한계를 비판적으로 검토해야 함
• 환각은 우발적인 오류가 아니라 LLM 시스템의 피할 수 없는 특징에 가까움
• 이 관점에서는 더 좋은 모델, 더 큰 데이터셋, 외부 검증 도구만으로 환각을 제거할 수 없다고 봄

왜 완전히 제거하기 어려운가

• 환각은 LLM의 수학적·논리적 구조에서 발생함
• 아키텍처 개선, 데이터셋 개선, 팩트체킹 메커니즘만으로는 환각을 완전히 없애기 어려움
• 분석은 계산 이론과 Gödel의 제1 불완전성 정리를 사용함
  • 관련된 결정 불가능 문제로 Halting Problem, Emptiness Problem, Acceptance Problem이 제시됨

처리 단계마다 남는 환각 가능성

• LLM 프로세스의 모든 단계에는 환각을 생성할 0이 아닌 확률이 있음
  • 학습 데이터 구성
  • 사실 검색
  • 의도 분류
  • 텍스트 생성
• 특정 단계 하나를 보완해도 전체 시스템에서 환각 가능성이 사라지지는 않음

Structural Hallucinations

• “Structural Hallucinations”는 환각을 LLM 시스템의 내재적 성질로 보는 개념임
• 환각의 수학적 필연성을 강조하며, 환각을 완전히 완화할 수 있다는 기존 관념과 충돌함
• 실무적으로는 LLM 환각을 완전 제거 대상이 아니라 항상 존재하는 제약으로 다뤄야 함

[GN⁺]

Hacker News 의견들

• “확률적 텍스트 생성 중 거짓 정보를 만들어내는 것”이라는 개념에 hallucination이라는 이름을 붙이지 않았다면 오해를 피할 수 있었을 듯함
  이 단어는 모델의 정상 동작 중 뭔가가 잘못된 것처럼 들리지만, 실제로 모델의 정상 동작은 그럴듯한 텍스트를 만드는 것임
  “환각”은 모델의 고장이 아니라 결과 텍스트에 대해 우리가 붙이는 가치 판단이고, 그 텍스트가 목적에 맞지 않다는 뜻일 뿐임
  이 관점에서는 환각 완화와 정렬이 사실상 같은 문제라서, 하나만 따로 해결하기는 어려움

  • 맞음. 사후적인 가치 판단이지 정밀한 용어가 아님
    “환각”이라는 단어의 뜻을 그대로 보면 모델은 항상 환각하는 셈이고, 우연히 객관적으로 참인 내용을 만들면 우리가 그걸 환각이라고 부르지 않을 뿐임
    논문이 이 정의 문제를 유용하게 정리했다면 좋은 기여가 될 수 있음
  • 이 용어가 어떻게 처음 쓰였는지는 모르겠지만, 부정확한 부분이 오히려 LLM 능력을 과장하려는 쪽에 유리해 보임
    문제를 기술 자체의 본질적 한계가 아니라 일시적인 “버그”처럼 보이게 만들어 투자자와 구매자에게 실제 성격을 흐릴 수 있음
  • 현상을 그냥 makin' stuff up이라고 불렀다면 분위기가 많이 달랐을 것임
    인간도 늘 지어내고, AI보다 훨씬 터무니없는 것도 지어내니 인간이 정말 지능적인지도 물어야 함 /완전한 농담은 아님
  • 작화(confabulation) 라는 용어를 몇 번 봤는데, LLM에서 벌어지는 일을 더 잘 반영한다고 봄
  • AI/기계학습 분야 전체가 의인화에 기대어 용어를 만들고, 그 용어가 서사로 강화된 결과임

• 환각은 질문을 받았을 때 떠오르는 첫 가능한 답을 그대로 말해버리는 결과에 가깝지 않나 싶음
  인간은 보통 그렇게 하지 않음. 예전에 답해본 질문에서 실수한 기억이 있고, 말하기 전에 다른 지식과 맞춰보며 내부적으로 상식 검사를 함
  그래서 LLM이 즉시 정답을 만들 거라고 기대하기보다 반성할 공간을 줘야 함
  인간의 사고도 여러 역할과 페르소나가 내부 토론과 타협을 거쳐 답을 내는 경우가 많고, 초기 “초안”이 생긴 뒤에야 그 답을 말했을 때의 결과 같은 추가 맥락을 상상할 수 있음
  따라서 프롬프트에 대한 첫 “직감 반응”만으로 LLM의 지능을 평가하는 건 잘못된 접근일 수 있음

  • 인간에게 모르는 걸 물으면 첫 생각은 지어낸 답이 아니라 모른다임
    이야기를 지어내려면 오히려 노력이 필요하고, 훈련 없이는 대체로 잘 못함. 자연스럽게 그러는 사람도 있지만 보통 장애로 여겨짐
    LLM에는 “모른다”는 개념이 없고, 훈련 데이터에 가장 잘 맞는 것을 쓸 뿐임. 훈련 데이터에 “모른다”가 많지 않으니 자연스러운 답도 아님
    작은 도시의 술집 목록을 물었더니 이름, 주소, 전화번호까지 그럴듯하게 전부 지어냈음. 그 도시를 잘 모르는 평범한 인간에게 “모른다” 없이 그럴듯한 답을 강요하면, 결국 답은 만들 수 있겠지만 그게 첫 생각은 절대 아닐 것임
  • LLM을 인간 마음과 비교해야 할 이유는 없고, 그런 비교는 무엇이든 의인화하려는 나쁜 습관에 가깝다고 봄
    LLM에는 직감도 없고 시간도 경험하지 않음. 시험 시간이 끝나가서 아무 답이나 찍는 긴장한 아이가 아니라, 컴퓨터가 올바른 답을 내도록 만들던 반세기 넘는 전통을 버리고 분위기를 좇은 소프트웨어 개발의 산물임
  • 평가할 지능이 없음. 지능적이지 않고, 내부에 논리나 숙고가 있는 것도 아님
  • 나한테 뭘 물어본 적이 없어서 그런 듯함. 특히 커피 마시면서 기술 질문을 받으면 틀린 답 하나당 1센트만 받아도 이미 백만장자였을 것임
  • 인간 두뇌는 사고를 관찰된 현실과 어떤 방식으로 묶는 듯함
    감각과 추론을 맡는 부분이 기억을 다루는 부분과 상호작용하고, 서로 다른 기억 유형이 절충을 처리함. 말이 되는 기억은 우연히 본 것보다 더 강해지기도 함
    LLM은 이런 일을 하지 않는 것으로 보이고, 설계상 환각 완화에서 뇌보다 약함
    뇌에서 환각이 있는 사람에게 비정상적으로 보이는 부분과 그 작동 모델을 보고 LLM에 적용할 수 있을지 살펴보는 게 뇌 영감 연구 방향일 듯함
    해마 같은 구조의 모델을 신경망에 적용하는 아이디어도 이미 여러 연구자가 하고 있음

• 현재 구조가 근본적으로 환각투성이라 실용적 사용, 특히 과장된 기대가 말하는 용도를 심하게 제한할 것이라고 봄
  다만 이 글은 “환각하지 않는다”의 기준을 불가능할 정도로 높게 둠
  형식 체계와 기계적 계산의 잘 알려진 근본 한계를 다시 말한 뒤, LLM도 그 한계를 공유한다는 당연한 결론을 제시하는 셈임
  이원론이나 추측성 양자 초계산 같은 것을 끌어오지 않는 한, 이 한계는 인간에게도 매우 많이 적용됨

  • 반대로 환각을 제거한 LLM은 거의 복사-붙여넣기 장치가 됨
    LLM의 흥미로운 성질은 뭔가를 지어내면서도 그럴듯하게 만들 수 있다는 데서 나옴
  • C.S. Peirce는 귀추 추론을 특징지은 인물이고 John Sowa의 고전 AI 작업에도 상당한 영향을 줬는데, 흥미로운 관점을 가졌음
    물질과 정신은 둘 다 실재하지만 이원적이지 않고, 둘 사이에는 매끄럽고 연속적인 전이가 있다고 봤음
    다만 정신과 물질의 본성이 무엇이든, 인간이 Peirce가 기호작용(semiosis) 이라고 부른 과정을 통해 상징에 의미를 만든다는 설득력 있는 증거는 있음
    우리는 이를 제대로 형식화한 기호학을 아직 갖고 있지 않고, 이 영역에는 흥미로운 수학적 응용 철학도 많지만 학계의 헛소리도 많음
    그걸 해내기 전까지는 기호작용을 수행하는 자동기계를 만들기 어렵고, 당분간 인간과 LLM 능력 사이에는 질적 차이가 남아 있음
  • 솔직히 인상적인 건 얼마나 못하느냐임
    모든 모델을 다 써봤다고 할 수는 없지만, 대부분은 “세 개의 개체가 상호작용하는 과정을 설명하라” 같은 요청에서 아주 빨리 실패함
    둘까지는 보통 처리하지만, 결국 같은 말을 빙빙 돌거나 많은 모델에서 문단을 통째로 반복하기 시작하고, 셋은 완전히 벅차 보임
    LLM은 “대부분 틀리지만 검증이 싸서 혹시 좋은 아이디어가 있으면 건질 수 있는 것을 만들려고 돈을 태우는” 분야에서는 역할이 있을지도 모름

• 불완전한 훈련 데이터를 측정하는 건 별 의미가 없어 보임
  애초에 학습이란 불완전한 데이터를 다루는 것 아닌가? 데이터가 완전하다면 기계학습이 필요 없고, 입력을 출력으로 매핑하는 함수를 그냥 만들면 됨
  기계학습은 예측을 통해 빈틈을 채우는 일이고, 일반적인 학습도 마찬가지임
  그러니 이 이론이 겨냥하는 내용은 인간 지능과 학습에도 적용됨
  LLM이 항상 환각한다고 말할 수는 있지만, 인간도 항상 환각함
  진짜 풀어야 할 문제는 LLM이 인간처럼 환각하게 만드는 방법임

  • “기계학습은 예측으로 빈틈을 채우는 것”이라는 해석은 네트워크 기반 기계학습에 관대해 보임
    기계학습은 문제를 풀려고 설계됐고, 많은 데이터로 함수를 도출할 수 있다는 점에서 고전 AI처럼 알고리즘을 직접 구성하는 방식과 달랐음
    하지만 현재의 기계학습식 “지능”은 인간 사고와 다름. 인간은 고양이를 알기 위해 수백만 개 예시가 필요하지 않고, 두세 개만 보고도 나중에 계속 식별할 수 있음
    검은 고양이 한 마리만 보고도 다른 집고양이를 고양이로 맞게 인식할 수 있고, 아이들을 보면 실제로 그렇다는 걸 알 수 있음
    지능은 사전 지식 없이 해법을 떠올리는 능력이고, 더 지능적인 존재일수록 필요한 데이터가 적음. 더 지능적인 시스템에 가까워질수록 효과를 내려면 데이터가 더 많아지는 게 아니라 더 적어져야 함
  • 맞지만 모델에게 보간을 요구하는지 외삽을 요구하는지에 따라 차이가 큼
    일반적으로 모델은 전자에서 훨씬 잘하고, 후자에서는 큰 문제를 겪음

• LLM의 현재 환각 방식은 지식을 표현하는 방식과 깊이 관련돼 보임
  비용 함수를 보면 로그 가능도라고 부르는 이유가 있음. 실제 목표는 현실에 대한 견고한 모델의 개념들과 일관된 답이 아니라, 가장 추상적인 의미에서 그럴듯한 토큰열을 만드는 것임
  모델이 환각할 때도 우리가 훈련시킨 일을 꽤 잘하고 있는 셈이며, 가능성이 높은 텍스트를 만들려고 문법과 단순한 단어 선택 같은 훈련 데이터의 더 일반적인 패턴으로 암묵적으로 후퇴함
  적절한 구조 변경이 있으면 환각 문제를 완전히 또는 거의 해결할 수도 있다고 상상함
  다만 그런 변경을 하면서도 효율적으로 훈련 가능한 모델을 만들 수 있을지는 아직 열린 질문처럼 보임

  • 누군가 그런 구조 변경을 찾아내면, 그 결과물은 더 이상 LLM이라고 불리지 않을 것이고 논문도 맞는 말이 될 것임
  • 문제를 완전히 해결할 수는 없음. 수학적으로 결정 불가능하기 때문이고, 사실 이 프리프린트 없이도 직감할 수 있었을 것임
    그래도 더 좋은 질문은 충분히 좋은 성능을 얻을 수 있느냐임

• LLM을 효과적으로 쓰려면 근본적으로 신뢰할 수 없고 비결정적인 기술을 사용하는 법을 배워야 함
  많은 사람이 이 장벽을 거의 넘지 못하는 듯함

  • 정직성과 정확성이 신뢰를 만듦
    무언가를 신뢰하면 그것이 어떤 방식으로 나를 속일 수 있는지, 어떻게 대응해야 하는지에 대한 정신적 모델을 만들 필요가 줄어 인지 부하가 낮아짐
    그래서 적어도 내게 LLM은 유용하지만 스트레스가 큼
  • LLM은 근본적으로 비결정적이지 않음. 예를 들어 탐욕 샘플링 생성은 아주 간단함

• 이제 거품이 터질 때가 됐을지도 모름

  • 그 전에 우리가 “AGI”라고 부르는 걸 먼저 달성해야 함
    더 먼저는 그걸 정의해야 하는데, 현실적으로 아무도 AGI가 뭔지 모름. 그래서 무엇이든 될 수 있음
    Sam이 GPT-3.5, ChatGPT, 멀티모달 GPT-4, o1(Strawberry) 이후에도 AGI가 달성됐다고 믿지 않는다는 건, AGI가 결국 수십억 명의 창작과 노동을 포획하고 수천억 달러를 조달하며 모두를 UBI 기반 체계에 올려놓는 동안 내부자들이 부자가 되는 것을 뜻하는 듯함
    환각은 AGI가 아직 달성되지 않았다고 말하기 위한 핑계처럼 보임. 그래서 계속 환각할 모델을 위해 훈련과 추론 에너지 비용에 더 많은 돈을 모을 수 있음
    OpenAI가 모든 가치를 포획하고 내부자들이 현금화한 뒤에야, AI 스타트업의 95%가 사라지는 거품 붕괴를 원할 것임. OpenAI는 예외로 남고
  • LLM은 지능과 어리석음을 모두 증폭함
    그래서 Terence Tao는 LLM을 평범한 대학원생 수준쯤, 그리고 더 나아지고 있다고 보지만, 당신은 죽기만을 기다리는 것임

• “이걸 안고 살아갈” 필요는 없음
  그냥 쓰지 않고, 무시하고, 확산과 수용에 반대하면 됨. 나는 계속 그렇게 할 것임

  • 기술적으로는 맞음. 결국 Donald Knuth도 아직 이메일을 쓰지 않음
    하지만 전 세계적인 “우리”는 그 요청을 거의 확실히 따르지 않을 것임
  • 이건 “반진보”임. 우리는 스스로 만든 현실 붕괴 지옥문으로 이어지더라도 언제나 진보를 추구해야 함. 이상한 나라로 전진하자고 말하고 싶음
  • 나는 쓰고 싶고, 다른 사람들도 많이 씀. 뒤처지고 싶다면 자유임

• LLM은 전문가 시스템의 길을 갈 것임
  왜 우리가 그게 가능하다고 생각했는지 나중에 의아해할 듯함
  AI 전문가라는 좁은 정체성에 자신을 가두지 말라고 권하고 싶음. 곧 바깥이 꽤 추워질 것임

• 동의하지 않음 — https://arxiv.org/abs/2406.17642
  관련 연구에서 정지 문제와 계산 곤란 문제를 다룸
  당연히 LLM은 계산 곤란 문제에 답할 수 없음
  정지 문제 질문에 “그건 계산할 수 없다”고 답하는 것을 왜 환각이라고 불러야 하는지도 모르겠음