LLM 환각은 필연적: 대규모 언어 모델의 타고난 한계

• LLM 환각을 경험적으로 줄이는 연구와 달리, 이 논문은 계산 가능한 정답 함수와 모델 출력의 불일치로 환각을 정의하고 완전 제거 가능성을 형식적으로 따짐
• 대각화 논법에 따르면 계산 가능한 LLM은 모든 계산 가능한 함수를 학습할 수 없으며, 일반 문제 해결기로 쓰일 때 환각을 피할 수 없음
• 현실적인 다항 시간 LLM에는 조합 목록, Presburger arithmetic, Subset Sum, SAT, 명제 논리 함의 같은 환각 취약 문제가 있고, 일부 결론은 P ≠ NP 가정에 의존함
• 모델 확대, 앙상블, 더 많은 학습 데이터, Chain-of-Thought·검증 프롬프트는 오류를 줄일 수 있지만, 정답 함수가 모델 능력 밖이면 완전 제거는 불가능함
• 입력-출력 쌍만으로 학습한 LLM을 안전 중요 의사결정에 자동 투입하기는 어렵고, 가드레일, 지식 기반, 인간 통제가 함께 필요함

---

형식 세계에서 정의한 LLM 환각

• LLM 환각은 그럴듯하지만 사실과 다르거나 무의미한 정보를 생성하는 문제이며, 연구·산업·사회 전반에 적용이 늘수록 안전성과 윤리 우려가 커짐
• 기존 완화 연구는 데이터 수집, 학습, 추론 단계에서 원인을 찾고 벤치마크·검색 기반 방법·추론 프롬프트·검증 프롬프트로 환각을 줄이려 했음
• 가능한 모든 입력을 열거해 시험할 수 없기 때문에, 경험적 접근만으로는 환각을 완전히 제거할 수 있는지 답하기 어려움
• 실제 세계의 의미론을 형식적으로 정의하는 문제는 여전히 열려 있어, 논문은 계산 가능한 함수로 구성된 형식 세계를 사용함
  • 정답 함수 f는 입력 문자열 s에 대해 유일한 올바른 출력 f(s)를 제공함
  • LLM 상태 h[i]가 어떤 입력 s에서 h[i](https://arxiv.org/abs/s) ≠ f(s)이면 정답 함수 f에 대해 환각한 것으로 정의함
  • LLM은 학습 샘플을 순차적으로 받아 여러 상태 h[0], h[1], ...를 갖는 전체 계산 가능 함수로 다뤄짐
• 핵심 질문은 고정된 절차로 학습한 LLM h가 임의의 정답 함수 f에 대해 어떤 학습 단계 i에서 모든 입력 s에 대해 h[i](https://arxiv.org/abs/s) = f(s)를 만족할 수 있는지임

대각화 논법으로 보인 필연성

• 계산 가능하게 열거 가능한 LLM 집합 {h0, h1, ...}에 대해, 모든 LLM의 모든 학습 상태가 환각하게 만드는 계산 가능한 정답 함수 f가 존재함
  • 각 LLM의 학습 상태를 다시 하나의 열거 {ĥ0, ĥ1, ...}로 만들고, 입력 문자열 {s0, s1, ...}에 대한 출력 표를 구성함
  • 정답 함수 f(si)를 ĥi(si)와 다른 문자열이 되도록 정의하면 대각선 위치에서 각 LLM 상태와 충돌함
• 같은 방식으로, 모든 LLM 상태가 단 하나의 입력이 아니라 무한히 많은 입력에서 환각하도록 만드는 정답 함수도 구성할 수 있음
  • f(si)를 j ≤ i인 모든 ĥj(si)와 다른 문자열로 정의함
  • 그러면 특정 LLM 상태 ĥk는 충분히 뒤의 입력들에서 계속 환각함
• 단일 계산 가능 LLM h도 {h}라는 계산 가능하게 열거 가능한 집합이므로, 모든 계산 가능 LLM에는 환각을 유발하는 계산 가능한 정답 함수가 존재함
• 정리 3에 따르면 모든 계산 가능 LLM h에 대해 각 상태 h[j]가 환각하는 정답 함수 f가 존재하며, 무한히 많은 입력에서 환각하게 만드는 f'도 존재함
• LLM이 스스로 환각을 제거하려면 임의의 계산 가능 함수에 대해 환각 없는 상태가 존재해야 하지만, 이는 정리 3과 충돌함
  • Chain-of-Thought처럼 LLM 자체에 의존하는 완화 방법만으로는 환각을 완전히 제거할 수 없음

환각에 취약한 문제 유형

• 주어진 LLM 집합이 계산할 수 없는 정답 함수를 찾으면, 해당 문제는 환각 취약 문제가 됨
• 다항 시간 제약 LLM, 즉 논문에서 모든 기존 LLM으로 보는 범주에는 다음 문제가 포함됨
  • 조합 목록: 두 문자 알파벳으로 길이 n인 모든 문자열을 나열하며, 계산에 Ω(2^n) 시간이 필요함
  • Subset Sum: 정수 집합과 수 q가 주어졌을 때 합이 q가 되는 부분집합이 있는지 답하는 NP-complete 문제임
  • Boolean Satisfiability(SAT): n개 Boolean 변수의 식을 참으로 만드는 할당이 있는지 답하는 NP-complete 문제임
  • 명제 논리 함의: M(ψ) ⊆ M(ϕ)인지 답하는 co-NP-complete 문제임
• Subset Sum, SAT, 명제 논리 함의가 다항 시간 LLM의 환각 취약 문제라는 결론에는 P ≠ NP 가정이 붙음
• Presburger arithmetic은 자연수의 덧셈과 순서 <에 관한 1차 이론이며, 어떤 명제가 해당 산술 안에서 증명 가능한지 답함
  • 계산에 Ω(2^{2cn}) 시간이 필요하며, 다항 시간 LLM과 지수 시간 LLM 모두에 대해 환각 취약 문제로 분류됨
• 모든 계산 가능 LLM에는 더 일반적인 취약 문제가 존재함
  • 모든 계산 가능한 선형 순서를 학습하는 문제는 정리 4에서 다룸
  • 모든 계산 가능한 문제를 푸는 것은 정리 3의 대상임
  • 1차 논리 함의는 undecidable 문제로 분류됨
• 수학 문제와 논리 추론에 대한 LLM 답변은 항상 별도 검토가 필요함

기존 완화책의 범위

• 더 큰 모델, 모델 앙상블, 더 많은 학습 데이터는 LLM이 더 복잡한 정답 함수를 포착하는 데 도움을 줄 수 있음
  • 학습 데이터가 늘어나면 유효하지 않은 LLM 후보를 배제하고 학습 수렴에 기여할 수 있음
  • 그러나 정답 함수가 해당 LLM이 포착할 수 없는 범위에 있으면 파라미터와 데이터 증가만으로는 환각을 제거할 수 없음
  • 다항 시간 LLM에 attention layer를 더해도 더 큰 다항 시간 LLM이 될 뿐이며, 지수 시간 정답 함수에 대한 환각은 제거하지 못함
  • 모델 앙상블도 본질적으로 하나의 LLM으로 볼 수 있어 정리 3의 제약을 받음
• Chain-of-Thought, reflection, verification 프롬프트는 예시 풀이와 관련 지식을 문맥 안에 제공하는 문맥 내 학습 계열 접근임
  • 복잡한 문제에는 여러 풀이가 있고, 프롬프트는 사람이 선호하는 더 낮은 복잡도의 풀이로 LLM을 유도할 수 있음
  • Fibonacci 수열은 재귀 풀이가 지수 시간이지만 동적 계획법으로 선형 시간에 풀 수 있는 예로 사용됨
  • 모든 정답 함수를 프롬프트로 완전히 기술할 가능성은 낮아, 이 접근은 특정 작업에서만 효과를 기대할 수 있음
• 가드레일과 펜스는 LLM 출력을 인간 가치, 윤리, 법적 요구에 맞추거나 LLM으로 완전 자동화하지 말아야 할 중요 작업 목록을 두는 방식임
  • 형식적으로 프로그래밍해 LLM 동작에 명시적으로 영향을 줄 수 있음
  • 형식 세계와 일부 실제 문제에서 유용한 완화책이 될 수 있음
  • 실제 세계에서의 확장 가능성은 열린 문제로 남아 있음
• 지식 강화 LLM은 지식 그래프, 데이터베이스, 논리 같은 외부 지식과 상징 추론을 학습·추론에 활용함
  • ChatGPT 같은 LLM 기반 챗봇은 검색 엔진, 코드 인터프리터, 계산기 같은 도구를 사용해 LLM의 내재 능력 밖 문제를 풀기 시작했음
  • 지식 데이터베이스 검색은 입력-출력 학습 샘플 외의 정보를 정답 함수에 대해 제공함
  • 이 경우 정리 3은 그대로 적용되지 않으며, 형식 세계에서 잠재적으로 효과적인 환각 완화책이 될 수 있음
  • 실제 작업에서의 확장 가능성은 아직 열려 있음

배포 시 제약과 연구의 한계

• 입력-출력 쌍만으로 학습한 모든 LLM은 일반 문제 해결기로 쓰일 때 환각함
  • 어떤 문제는 사람에게 지적으로 쉬워도 LLM에는 계산적으로 어려울 수 있음
  • 반대로 사람에게 어려운 문제가 LLM에는 계산적으로 쉬울 수도 있음
  • 실제 세계의 환각 원인은 계산 복잡도만이 아니며, 불완전한 학습 데이터도 계산적으로 쉬운 작업에서 환각을 만들 수 있음
• 이 결론은 훈련 데이터 밖 질문에 결국 답을 내는 유용한 LLM에 적용됨
  • LLM이 임의의 많은 질문에 “모른다”고 답할 수는 있음
  • 어떤 상태의 LLM이 학습 데이터 밖 질문에 답하는 순간, 정리 1과 정리 2의 대각화 기법을 그 답에 적용할 수 있음
  • LLM이 절대 답하지 않으면 환각하지 않지만, 보지 못한 질문에 답하는 한 어떤 형식 세계에서는 환각함
• 외부 보조 장치 없이 LLM을 안전 중요 의사결정에 자동으로 쓰면 안 됨
  • 가드레일, 펜스, 지식 기반, 인간 통제는 입력-출력 쌍 외의 정보를 제공해 정리 3의 한계를 넘는 데 도움을 줄 수 있음
  • 인간 생명과 관련된 의사결정처럼 환각 오류를 받아들이기 어려운 영역에는 이성적이고 인간적인 판단이 필요함
• LLM의 안전 경계에 관한 연구와 규제가 중요함
  • 고객 서비스에 쓰인 LLM이 잘못된 정보를 제공해 실제 금전 손실이 발생한 사례가 있음
  • 로봇 같은 자동 감지·작동 환경에서 환각은 위험한 실제 결과로 이어질 수 있음
  • LLM 능력 경계에 대한 이론가와 실무자의 합의와, 경계 밖 사용을 막는 규제가 필요함
• 연구의 한계도 명확함
  • LLM의 계산 능력 안에 있는 문제에서 발생하는 환각은 다루지 않음
  • 정답 함수를 결정론적으로 가정해 확률적 관점의 통찰은 제한적임
  • 경험 연구에서는 기존 LLM을 추가 파인튜닝 없이 사용함

[GN⁺]

Hacker News 의견들

• 논문을 훑어보니 핵심은 P != NP이므로 LLM이 NP-완전 문제에 대해 환각 답변을 낸다는 주장처럼 보임
  영리한 지점이고 수학·컴퓨터과학·언어에 관한 흥미로운 철학적 질문이지만, 사람들이 이를 보통의 “LLM 환각” 개념으로 적용하려는 듯함. 논문이 쓰는 형식적 환각과, 소설 요약을 요구했을 때 없는 장을 지어내거나 구체적 세부사항을 꾸며내는 식의 상식적 환각 사이의 연결은 분명하지 않아 보임
  형식 세계, 즉 수학·논리·형식 문법의 세계가 “현실” 세계 또는 자연어 세계의 부분집합이라는 진술도 흥미로움. 대부분의 인간은 형식 논리 문제를 풀거나 형식 문법을 파싱하지 못하지만 강한 환각 효과를 겪지는 않고 자연어를 매우 능숙하게 다룸. 인간도 특정 NP-완전 문제를 풀 수 없으니 환각이 필연적인가? 수명이 유한하니 어떤 문제는 능력이 있어도 끝내지 못할 수 있음

  • LLM에서 환각이라는 말은 잘못된 명칭이고, 그 용어가 굳어진 게 우울함
    인간이 이런 일을 할 때는 작화증(confabulation) 이라고 부름. 자신이 거짓말하는 줄 모르고 지식의 빈틈을 즉석에서 지어낸 헛소리로 메우는 정신의학적 증상임. 환각은 전혀 다른 증상임
    작화증은 인간이 정상적으로 하는 일이 아니며, 그 사실이 P != NP와 어떻게 연결될 수 있는지도 모르겠음. 정상적인 사람은 이유가 무엇이든 자기 지식의 한계를 인식하지만, LLM은 그렇지 않음
  • 맞음. 무한을 도입한 다음 무한에 대한 정지 문제에 걸리는 것처럼 보이며, 별로 도움이 안 될 수 있음
    이 주장이 문제에 빠지는 지점은 “계산 가능한 LLM과 S 위의 계산 가능한 참값 함수 f만 신경 쓰는 형식 세계에서 환각을 정의한다”는 부분임. 이는 진리에 대한 신뢰할 수 있고 계산 가능한 술어를 요구하는데, 그 자체가 아마 불가능함
    대신 참값 함수의 출력을 True, False, Unknown, Resource limit exceeded로 허용하면 문제를 피할 수 있음. 이제 목표는 관리 가능해짐. True나 False는 유효할 때만 반환하고, 유용한 질의에서 Unknown과 Resource Limit Exceeded가 나오는 비율을 줄이면 됨
    같은 문제는 프로그램 검증 시스템에서도 발생하며, 수십 년 동안 같은 방식으로 다뤄져 왔음. 어떤 명제가 참인지 결정하는 일이 때로는 너무 많은 작업을 요구함
  • “P != NP이므로 LLM이 NP-완전 문제에 대해 환각한다”는 말은, 환각을 단순히 틀린 답을 주는 것으로 정의할 때만 맞을 듯함. 하지만 보통 그렇게 이해하지는 않음
    사람들이 LLM 환각을 말할 때는 실제로 틀리고 자신감 있는 답을 뜻하긴 함. 그러나 모든 오답이 환각은 아님
    어떤 프로그램이 정지하는지 묻자 LLM이 “모르겠다”고 답하면 환각이라고 부르지 않을 것임. 그런데 저자들의 주장이 LLM이 NP-완전 문제를 항상 정확히 풀 수 없다는 것이라면, “모르겠다”도 환각 답변으로 볼 것처럼 들림. 다만 논문은 읽지 않았음
  • 인간은 어느 정도 벽에 부딪혔음을 인식하고 그에 맞게 조정하는 능력이 있음. 다만 완전성 정리, 콜모고로프 복잡도, 계산 복잡도 이론 같은 것들은 20세기에야 도달한 지식이기도 함
  • 인간과 LLM 모두에서 환각을 줄이는 유일한 방법은 일반 지능과 세계 지식을 늘리는 것임

• 초록만 읽었다는 점은 인정하지만, 이렇게 고도로 형식적인 접근이 LLM에게 “모르겠다”고 더 자주 답하게 만들 수 있는가라는 실용적 질문에 도움을 줄 수 있는지는 대체로 회의적임
  불완전성 정리와 비슷하게 들림. 실제로 불완전성 정리가 수학 연구가 헛되다는 뜻은 아니듯, LLM이 어떤 함수를 계산하지 못할 수 있다는 말도 환각 문제가 LLM이 모든 것을 알아야 한다는 뜻은 아님. 우리가 신경 쓰는 문제는 “모르겠다”라고 답하는 문제이고, 이는 여전히 계산 가능할 수 있음

  • LLM은 “모르겠다”고 말할 수 없음. 실제로 아는 것이 없기 때문임
    답은 생각하는 마음에서 나오는 게 아니라, 방대한 사전 계산 패턴 표 위를 떠다니는 복잡한 패턴 맞춤 슈퍼컴퓨터에서 나옴. 입력을 계산한 뒤 그 패턴에서 가장 잘 맞는 것을 뱉을 뿐임. 자기 한계를 개념적으로 이해하는 사고하는 뇌가 없음
    현재 AI에게 “모르겠다”를 기대하는 것은 내비게이션 소프트웨어에 Springfield에 있는 Simpsons 집까지 얼마나 걸리냐고 묻는 것과 비슷함. 기계는 답을 내지만, 그 답을 불가능하게 만드는 문화적 참조를 파악하지 못함. 대신 가장 가까운 실제 Springfield에서 Simpson이라는 사람을 찾음
  • 트랜스포머에는 자기성찰 능력도, 자기 추론 과정을 추론하는 능력도 없으며, 자신이 모른다는 것을 “알지” 못함
    논문은 이 약점이 근본적이라고 주장하는 것으로 해석함. 네트워크가 자기 지식의 한계를 아는 것처럼 행동하도록 학습시킬 수는 있지만, 현실 구현에서는 언제나 덮을 수 없는 간극이 남는다는 것임
  • “모르겠다”고 답하려면 자신이 언제 아는지 알아야 함. 자신이 언제 아는지 알기 위해서는 다시 이해가 필요함
  • LLM이 “모르겠다”고 답하게 만드는 쉬운 방법은 없어 보임
    그러려면 사람들이 실제로 모를 때 어떤 식으로 말하는지를, 섭취한 모든 자료 속에서 배워야 함. 하지만 인터넷의 많은 사람들은 모를 때 단순히 “모르겠다”고 쓰는 대신 관련 없는 말을 적음
  • LLM 자체에 대한 말은 아니지만, 컴퓨터과학 전반에서 많은 문제는 “풀 수 없음” 또는 “합리적인 시간 안에 풀 수 없음(NP)”으로 분류돼도, 어떤 값으로 상한을 둔 근사해는 합리적인 시간(P)에 풀 수 있음
    현실에서 Amazon 트럭 경로가 수학적 최적해보다 20% 나빠도, 외판원 문제는 충분히 좋은 방식으로 “해결”된 셈임

• 질문을 아주 조심스럽게 해야 지어내지 않음. 예를 들어 “x에서 이걸 어떻게 하나?”라고 묻지 말고 “x로 이걸 할 수 있나?”라고 물어야 함
  이런 “AI”들은 예스맨 같음. 사실이 아니거나 불가능해도 사용자를 기쁘게 하려고 뭐든 말함
  그런 사람들을 만나본 적이 있는데 같이 일하기 매우 어렵다. 약속한 프로젝트를 실제로 납품할지 믿을 수 없고 모든 것을 다시 확인해야 함. 약속한 일이 애초에 가능한지도 믿을 수 없음

  • ChatGPT 이전에도 인간 언어 번역에는 비슷한 문제가 있었지만, 사람들이 그만큼 크게 말하지 않았음
    요즘 DeepL이 thou를 du로 번역하게 만드는 것이 점점 어려워지는 점이 답답함. 영어에 빠진 기능 때문에 생기는 비호환성을 우회하는 내 “해킹”으로 자주 쓰던 방식이었음
    “예스맨” 문제를 어느 정도 완화하려면 질문을 던질 때 깐깐한 수학자처럼 되어야 하고, LLM 기술만으로 이 문제를 완전히 극복할 수 있다고 보지는 않음. 우스꽝스럽게 들리지만, 질문을 대신 분해해 주는 추상화가 발전할 것 같아 “프롬프트 엔지니어링”의 존재는 인정해야겠음
  • “추가 명확성이 필요하면 후속 질문을 해라”는 지시로 어느 정도 성공한 적이 있음
    가장 좋은 경험은 우리가 무엇을 하려는지 자유롭게 대화하는 것에서 시작했음. 먼저 질의응답을 통해 나와 AI가 같은 영역을 생각하고 있고 관련 용어를 공유하는지 확인하면 도움이 되는 듯함
  • 비유가 정말 적절함. 결국 훈련과 선택의 문제임
    “그렇게 행동하라, 아니면…”이라는 보상이 걸려 있는 한, 설정한 목표를 달성하기 위해 지능을 쓰는 시스템이 나오는 것은 놀랍지 않음
    다행히 이는 underlying 지능의 한계라기보다, 그 주위에 둔 보상 구조의 한계를 더 많이 말해 줌
  • 여러 기술로 하고 싶은 일이 불가능하다거나 더 나은 방법이 있다고 LLM이 말해 준 경우도 꽤 자주 있었음
  • 현재 AI는 RLHF로 “예스맨”이나 아첨꾼이 되지 않도록 조정되어 있음
    더 나은 프롬프트가 필요하다는 점은 맞음. “첫 여성 대통령은 누구였나?”라고 묻지 말고 “여성 대통령이 있었나?”라고 물어야 함. StackOverflow에서처럼 모르는 상태에서 가정을 깔지 말고 올바른 질문을 해야 함
    초기 Google에서 스팸 결과를 볼 때마다 검색 엔진 탓만 하고, 키워드 선택이나 항상 뭔가를 반환하려는 동작을 무시하는 상황을 떠올려 보라. 콘크리트 판을 끌로 두드리면서 아름다운 조각상이 나오지 않는다고 불평하는 사용자와 비슷함

• 소설과 이야기 쓰기는 환각임. 확률적 앵무새의 반대임
  AI의 양극단은 모두 달성했음. 컴퓨터는 논리 기계이면서 동시에 환각하는 기계가 될 수 있음. 목표는 둘을 동시에 할 수 있고 둘을 구분할 수 있는 기계를 만드는 것임
  핵심은 환각 자체가 아니라, 컴퓨터가 언제 환각하고 있는지 자각하는 것임
  물론 어려운 문제지만 인간도 엄청나게 환각함. 종교만 봐도 됨. 하나의 종교만 맞거나 아무 종교도 맞지 않을 수 있으니, 논리적으로 다른 모든 종교는 환각이라는 뜻임

  • 종교를 LLM 실수와 비교하는 것은 현재 사회에 널리 퍼진 의인화의 한 사례임. 이런 오해와 혼동이 기술 개선을 실제로 방해할까 걱정됨
    “Helios가 매일 태양을 하늘 너머로 끌고 간다” 같은 잘못된 설명에 도달하는 것과, 수학 프로그램이 순서상 가장 그럴듯한 다음 토큰을 잘못 반환하는 것은 범주적으로 다름. LLM에는 믿음이 전혀 없음
    Helios는 “태양은 왜 뜨는가?”라는 질문에 대한 답임. 그런 믿음은 어떤 힘이 이를 일으켜야 한다는 논리적 이해를 보여 주지만, 세계 지식의 부족으로 잘못된 설명을 만들어 낸 것임
    LLM은 그런 질문을 제기하고 추론할 수 없음. 같은 종류의 “환각”이 아님. 단어 예측으로 인지를 해결했다고 가정하면 장기적으로 빠르게 막다른길에 갈 것임
  • 그것은 확률적 앵무새의 반대가 아니라 정확히 같은 것임. 다만 희소한 학습 데이터 때문에 예측이 더 나쁠 뿐임
  • “하나의 종교만 맞거나 아무 종교도 맞지 않을 수 있으니 다른 모든 종교는 환각”이라는 문장에는 몇 가지 오류가 있음
    여러 종교가 세계의 어떤 측면은 정확히 설명하면서 다른 측면에서는 틀릴 가능성도 있음. 종교가 가질 수 있는 유용한 상태를 엄밀하고 완전한 “정답” 하나로만 취급하는 것은 매우 오해를 부름. 뉴턴 물리학과 특수상대성이론도 관측된 어떤 현상을 예측하지 못하지만 여전히 유용함. 모든 종교가 엄밀하고 완벽한 정합성을 주장하는 것도 아님
    어떤 종교가 틀렸다고 보일 수 있어도 그것이 자동으로 환각이라는 뜻은 아님. 사람들은 그럴듯한 이유로 어떤 것을 믿고도 틀릴 수 있음
    “이것이 참임을 증명할 수 없고 증명하려 하지도 않지만, 신에 대한 주관적 환시 경험 때문에 아마 실재한다고 설득됐다” 같은 태도도 가능함. 이는 LLM이 아무 근거 없이 논문을 통째로 지어내는 것과는 매우 다르게 보임
  • 조금 주제에서 벗어나지만, 종교가 존재하는 원동력 중 하나는 인격화 욕구라고 봄
    인간은 세계와 그 요소를 친숙한 사람 같은 존재로 대하며 소통할 때 더 쉽게 상호작용하는 듯함
    LLM과 AI 전반을 이야기할 때도 인격화가 자주 나타남
  • 인간도 대규모로 환각한다는 더 단순한 예는 꿈임

• 똑똑한 누군가가 이렇게 말했음
  좋으면 “창의성”이라고 부르고, 나쁘면 “환각”이라고 부른다
  이것은 버그가 아님. 저자들이 말하듯 한계도 아님. 기능임

  • 맞음. LLM은 항상 환각하고 지어내는 중임
    그 환각이 가끔 우연히 맞기 때문에, 사람들은 틀리는 것이 예외이고 맞는 것이 somehow 규칙이라고 결론 내렸음
    수천 년 된 텍스트에서 오늘 자기 삶과 맞아떨어지는 부분을 찾고, 그것이 미래를 예언한 것이라고 결론 내리는 것과 비슷함
    그런 텍스트의 의미나 진실은 텍스트 자체의 내재적 품질이 아니라, 읽는 사람의 마음에서 나온 인지 편향일 뿐임
  • 맞지만 LLM에 너무 많은 것을 기대하는 함정에 빠질 수 있음. LLM의 지식은 완벽해 보일 수 있음. 거의 무엇이든 답할 수 있으니, 무엇이든 진실하게 답할 수 있다는 착각이 생기기 쉬움
    앞으로의 개선에 대해 말하자면, 오늘 보는 수준을 넘어선 초지능을 기대하는 것은 지나치게 낙관적이라고 봄. 전 세계 공개 정보에 접근하거나, 기존 창작 패턴에 맞는 텍스트·이미지·비디오를 빠르게 생성하는 수준 말임
    더 창의적인 지능은 “미쳐버리지” 않으려면 극도로 섬세한 균형이 필요하다고 의심함. 즉 우리가 환각이 아니라 창의성으로 볼 산출물을 내야 함
    AI 내부에 지능이 진화하도록 하는 되먹임 고리를 만들수록 이 균형을 맞추기는 기하급수적으로 어려워질 것임
    인간이 이미 우주가 허용하는 한도까지 이 창의적 지능의 되먹임 고리를 최적화했을 가능성도 있음. 막대한 지식에는 더 많은 뉴런이나 저장공간이 분명 도움이 되지만, 그것이 창의적 지능에도 참인지는 아직 모름
  • 버그가 아니라면 환각도 창의성도 아님
    이는 우리가 실제로 하는 일, 즉 많은 인간 언어를 통계적으로 모델링하는 일을 드러내는 깊이 통합된 설계 결함임
    이 경로에 데이터를 더 많이 던진다고 마법처럼 깨어나 AGI가 되지는 않음. 이 문제는 사라지지 않을 것임
    기계학습 커뮤니티는 과장 열차에서 내려야 함. 첫 단계는 자기 프로젝트를 의인화하지 않는 것임
  • 코드를 써 달라고 하는 것은 기본적으로 LLM에게 환각해 달라고 하는 것과 같음
  • 핵심은 LLM이 자신이 어느 쪽을 하고 있는지 이해하는지 여부에 있을 것 같음
    이것이 인간과 LLM의 차이 아닌가?
    인간은 자신이 근거 있는 추측을 하고 있음을 알고, 그래야 한다면 그렇게 말해야 함. 또는 자신이 창의적으로 만들고 있음을 알고 그렇게 말할 수 있음
    어느 쪽인지 모른다면, LLM은 결국 매우 정교한 기계적 입출력 장치에 크게 벗어나지 않는다는 점이 확실해짐

• AI 과장이 이제 “현실을 보자” 단계에 들어가는 듯함. 정렬 문제에 대한 열광적인 글도 한동안 못 본 것 같음

  • 과장은 미쳤음. LLM에는 아직 성장 여지가 많고 이미 매우 유용하다고 생각하지만, 훌륭한 연구자들이 말하듯 성배는 아님
    AGI를 원한다면 LLM은 답이 아님. 많은 사람이 이를 공학 문제로 보고 LLM이 거기까지 데려다줄 수 있다고 생각하는 듯하지만, 그럴 수 없음. 공학 문제가 아니기 때문임

• “환각은 계산 가능한 LLM과 계산 가능한 참값 함수 사이의 불일치로 정의된다”는 말은 그냥 부정확성이나 조작임
  이를 환각이라고 부르는 것은 이런 프로그램들이 지능적이라는 생각에 영합하는 것일 뿐임

  • 맞음. 포켓 계산기가 10% 정도 완전히 틀린 답을 내는데, 단순히 고장 났다고 하지 않고 변덕스럽다고 부르는 상황을 상상해 보라
  • 그 문장은 “계산 가능한 참값”에도 너무 관대함. 우리가 LLM에 쓰는 작업에는 그런 것이 없음. 각 단어의 정의를 망가뜨리는 식으로 새 정의를 만들지 않는 한 말임

• LLM을 “문자열에서 시간 t의 출력을 앞선 모든 토큰에 조건화하는 확률 모델”로 정의함
  이 정의는 인간 지능까지 포함할 만큼 넓어 보이고, 따라서 결론도 인간에게 똑같이 유효해야 함

  • 그것은 확실히 맞음. 인간의 기억과, 기억한다고 생각한 것을 올바르게 떠올리는 능력은 온갖 것의 영향을 받으며 때로 매우 신뢰할 수 없음
    다만 인간 지능은 LLM과 달리 한때 배운 정보를 회상하는 데만 제한되지 않음. 우리는 논리적 추론도 할 수 있고, LLM에서도 이 능력이 개선되는 듯하지만 완벽과는 거리가 멂
    또 다른 문제는 정보 출처에 따라, 특히 개인적 편향에 따라 신뢰도를 매우 다르게 다룬다는 점임. 내 경험상 LLM은 사용자 입력에 따라 빠르게 무너지고 자기 의견을 바꾸는 경향이 있어 이것이 큰 요인이라고 봄
  • 지능을 정의하고 측정할 수 있게 되면, 이런 논의도 의미 있어질 것임
  • 이것이 꿈의 진화적 이유를 설명할 수도 있음. 꿈은 환각을 가지치기하는 것일 수 있음. 학습과 꿈꾸기를 번갈아 넣는 방식이 의미 있을까?

• 이 정의라면 제목의 문장, 즉 “환각은 필연적이다”가 틀렸음을 아주 쉽게 증명할 수 있음
  LLM의 입력 문맥 길이를 1바이트로 고정하자. 입력 “A”에는 “yes”라고 답하고 다른 모든 입력에는 “no”라고 답할 때까지 LLM을 계속 학습시킨다
  참값 함수는 입력 “A”의 정답을 “yes”, 다른 모든 입력의 정답을 “no”로 정의한다
  이 LLM은 증명 가능하게 절대 환각하지 않음. 가능한 모든 입력에 대해 출력이 참값 함수와 일치함을 완전 검증했기 때문임
  입력 문맥 크기와 참값 표 항목 수를 임의로 귀납적으로 늘리는 것을 막는 것은 없고, 어떤 단계에서도 환각은 “필연적”이 되지 않음

  • 나도 논문에는 동의하지 않지만 이유는 다름
    저 한 문장 조각이 저자들의 가정을 전부 담지 못하는 것은 당연함. 그들은 임의 길이 입력과 특정 자원 제약을 가진 LLM, 예를 들어 계산에 다항시간까지 쓸 수 있고 이 다항시간 동작이 증명 가능해야 해서 학습 중 실수로 더 오래 걸리지 않아야 하는 LLM은, 그런 제약이 없는 특정 함수를 계산할 수 없다는 식의 직관적으로 뻔한 것을 증명함
    어떤 경우에는 이 증명이 P != NP를 가정함. 그런 다음 현실의 유용한 질문 중 일부는 LLM이 계산할 수 없는 부류에 있을 가능성이 높다고 주장함. LLM에게 수학 문제를 물을 수 있고, 수학 문제는 때때로 매우 어렵기 때문임
    이 형식 모델은 점근적, 즉 임의 길이 입력 등을 가정하지만, 내 경험상 이런 종류의 정리는 보통 적당한 질의 길이의 현실적 문제에도 참인 경우가 많음
    하지만 이것은 환각이 필연적임을 증명하는 것과 같지 않음. 합리적인 정의라면 LLM이든 사람이든 “모르겠다”고 말할 수 있어야 하고, 이를 환각으로 간주해서는 안 됨. 그러면 LLM은 환각을 피할 수 있고, 질문은 환각 없이 얼마나 유용한 일을 할 수 있느냐가 됨
  • “입력 A에는 yes, 나머지에는 no라고 답할 때까지 학습시켜라”는 말은 기본적으로 환각하지 않을 때까지 학습시키라는 말과 같음
    그러면 주장은 동어반복으로 줄어듦. 환각하지 않도록 학습된 LLM은 환각하지 않는다. 어려운 부분은 실제로 그렇게 만드는 것임
  • “입력 문맥 크기와 참값 표 항목 수를 임의로 귀납적으로 늘릴 수 있다”는 것은 귀납이 아님
    기저 사례만 했을 뿐, 귀납 가정이나 귀납 단계가 없음. 머릿속으로 그 단계를 했을 수는 있지만, 그렇다면 주장처럼 사소한 증명은 아님

• 그래서 언어 학습을 현실 경험과 짝지어야 함. 이런 로봇들에게 탐험할 세계, 심지어 가상 세계라도 주고 그 안에서 결과를 겪고 살아남게 해야 함
  그렇지 않으면 전부 경험에 묶이지 않은 떠다니는 기호와 상징 체계일 뿐임

  • 동의하는 편이지만, 이것도 의인화일 수 있음
    3~5년 전만 해도 LLM에 대해 그렇게 생각했음. 물건들이 애매한 방식으로 붙어 있을 때 무엇이 떨어질지 답하지 못했고, 당시 주장은 그런 것을 깨닫기 위해서는 경험해야 한다는 것이었음. 하지만 LLM은 그런 문제들을 오래전에 고쳤음
    LLM이 질문을 “해결”하는 방식은 우리와 매우 다름. 이제 LLM이 지능을 얻으려면 현실 세계에 뿌리내려야 한다는 것을 증명하려면, 너무 자명해서 아무도 글로 쓰지 않은 현실 세계 현상을 찾아야 할 듯함. 그런데 그러면 우리가 이미 그것에 대해 써버리게 되지 않나?