▲

GN⁺: 확실한 환상: 대규모 언어 모델의 타고난 한계

 (arxiv.org)
5P by neo 9달전 | favorite | 댓글 1개

대규모 언어 모델의 본질적 한계: 환각은 불가피함

  • 대규모 언어 모델(LLMs)에서의 환각 현상은 널리 알려진 중대한 단점임.
  • 많은 연구가 환각의 정도를 줄이려 시도했으나, 대부분 경험적인 방법에 불과해 환각을 완전히 없앨 수 있는지에 대한 근본적인 질문에 답하지 못함.
  • 본 논문에서는 문제를 형식화하고 LLMs에서 환각을 제거하는 것이 불가능함을 보임.

형식적 세계에서의 환각 정의

  • 환각을 계산 가능한 LLM과 계산 가능한 기준 진리 함수 사이의 불일치로 정의하는 형식적 세계를 정의함.
  • 학습 이론에서 얻은 결과를 활용하여 LLMs가 모든 계산 가능한 함수를 학습할 수 없으며, 따라서 항상 환각을 경험할 것임을 보임.

현실 세계에서의 환각 불가피성

  • 형식적 세계는 훨씬 더 복잡한 실제 세계의 일부이므로, 실제 세계의 LLMs에서도 환각은 불가피함.
  • 증명 가능한 시간 복잡도에 의해 제약받는 실제 세계 LLMs에 대해, 환각이 발생하기 쉬운 작업을 기술하고 이를 경험적으로 검증함.

환각 완화 메커니즘과 실용적 함의

  • 형식적 세계 프레임워크를 사용하여 기존의 환각 완화 메커니즘의 가능성과 효과를 논의함.
  • LLMs의 안전한 배치에 대한 실용적 함의를 논의함.

GN⁺의 의견

  • 이 연구는 대규모 언어 모델의 핵심적인 문제인 '환각' 현상에 대한 근본적인 이해를 제공함.
  • 환각 현상이 불가피하다는 이론적 증명은 LLMs의 설계와 개선에 있어 새로운 방향을 제시할 수 있음.
  • 안전하고 신뢰할 수 있는 인공지능 시스템을 구축하기 위한 논의에 중요한 기여를 할 수 있으며, 이는 기술 발전에 있어 중요한 이정표가 될 수 있음.
▲
neo 9달전  [-]
Hacker News 의견

  • 첫 번째 댓글 요약:

    • 이 논문의 핵심 주장은 P ≠ NP이기 때문에 LLM(대규모 언어 모델)이 NP-완전 문제에 대해 허구의 답변을 만들어낼 것이라는 것임.
    • 이는 수학, 컴퓨터 과학, 언어에 대한 흥미로운 철학적 질문이지만, 일반적인 'LLM 환각' 개념과는 다른 형식적인 개념을 사용함.
    • 형식적인 세계가 자연 언어의 세계의 부분집합이라는 주장도 흥미로움. 인간은 NP-완전 문제를 해결하지 못하지만, 자연 언어에서는 높은 숙련도를 보임.

  • 두 번째 댓글 요약:

    • 추상만 읽었지만, 형식적인 접근이 LLM이 '모른다'고 대답하는 빈도를 높이는 실용적인 문제에 도움이 될지에 대해 회의적임.
    • 이는 불완전성 정리와 비슷하며, LLM이 모든 것을 알 필요는 없으나 '모른다'고 대답하는 문제가 중요함.

  • 세 번째 댓글 요약:

    • LLM에게 허구를 만들지 않도록 질문을 매우 신중하게 해야 함.
    • 이러한 AI는 '예스맨'과 같아서, 진실 여부와 상관없이 당신을 기쁘게 하려고 함.
    • 이런 사람들과 일하기는 매우 어려움. 약속한 프로젝트를 제대로 수행할지, 가능한지 항상 확인해야 함.

  • 네 번째 댓글 요약:

    • 소설과 이야기 쓰기는 환각의 한 형태임.
    • AI는 논리적 기계와 환각을 만들어내는 두 극단을 달성함.
    • 목표는 두 기능을 동시에 수행하고 구분할 수 있는 기계를 만드는 것임.
    • 환각은 중요하지만, 컴퓨터가 환각 중임을 자각하는 것이 핵심임.

  • 다섯 번째 댓글 요약:

    • 창의성이 좋다면 '창의성'이라 부르고, 나쁘다면 '환각'이라 부름.
    • 이는 버그나 한계가 아니라 기능임.

  • 여섯 번째 댓글 요약:

    • '환각'이라는 용어는 현실에 존재하지 않는 것들을 인지하는 것을 의미하기 때문에, 현실과 잘 매핑되지 않는 문구를 생성하는 현상을 설명하기에 부적절한 용어임.

  • 일곱 번째 댓글 요약:

    • AI에 대한 과대평가가 이제 '현실적인 단계'로 넘어가고 있음.
    • 최근에는 정렬 문제에 대한 열광적인 포스트를 보지 못함.

  • 여덟 번째 댓글 요약:

    • LLM을 문자열의 확률 모델로 정의하며, 이는 인간 지능을 포함할 만큼 넓은 정의임.
    • 따라서 이들의 발견은 인간에게도 동일하게 적용될 수 있음.

  • 아홉 번째 댓글 요약:

    • 환각을 계산 가능한 LLM과 계산 가능한 기준 진리 함수 사이의 불일치로 정의함.
    • 이는 단순히 부정확함이나 날조임.
    • 환각이라는 용어는 이 프로그램들이 지능적이라는 생각에 부응함.

  • 열 번째 댓글 요약:

    • 환각을 계산 가능한 LLM과 계산 가능한 기준 진리 함수 사이의 불일치로 정의함.
    • 이 정의를 사용하면 '환각은 불가피하다'는 제목의 문장을 쉽게 반증할 수 있음.
    • 입력 컨텍스트 길이를 한 바이트로 고정하고, LLM이 'A'에 대해서만 '예'라고 대답하도록 훈련함.
    • 기준 진리 함수를 'A' 입력에 대한 정확한 출력이 '예'이고 다른 모든 입력에 대한 정확한 출력이 '아니오'라고 정의함.
    • 이 LLM은 모든 가능한 입력에 대해 출력이 기준 진리 함수와 일치함을 완전히 검증했으므로 결코 환각하지 않음.
    • 입력 컨텍스트 크기와 기준 진리 테이블의 항목 수를 증가시키는 것이 가능하며, 어느 단계에서도 환각이 '불가피'해지지 않음.
답변달기