Hacker News 의견

• 첫 번째 댓글 요약:

  • 이 논문의 핵심 주장은 P ≠ NP이기 때문에 LLM(대규모 언어 모델)이 NP-완전 문제에 대해 허구의 답변을 만들어낼 것이라는 것임.
  • 이는 수학, 컴퓨터 과학, 언어에 대한 흥미로운 철학적 질문이지만, 일반적인 'LLM 환각' 개념과는 다른 형식적인 개념을 사용함.
  • 형식적인 세계가 자연 언어의 세계의 부분집합이라는 주장도 흥미로움. 인간은 NP-완전 문제를 해결하지 못하지만, 자연 언어에서는 높은 숙련도를 보임.

• 두 번째 댓글 요약:

  • 추상만 읽었지만, 형식적인 접근이 LLM이 '모른다'고 대답하는 빈도를 높이는 실용적인 문제에 도움이 될지에 대해 회의적임.
  • 이는 불완전성 정리와 비슷하며, LLM이 모든 것을 알 필요는 없으나 '모른다'고 대답하는 문제가 중요함.

• 세 번째 댓글 요약:

  • LLM에게 허구를 만들지 않도록 질문을 매우 신중하게 해야 함.
  • 이러한 AI는 '예스맨'과 같아서, 진실 여부와 상관없이 당신을 기쁘게 하려고 함.
  • 이런 사람들과 일하기는 매우 어려움. 약속한 프로젝트를 제대로 수행할지, 가능한지 항상 확인해야 함.

• 네 번째 댓글 요약:

  • 소설과 이야기 쓰기는 환각의 한 형태임.
  • AI는 논리적 기계와 환각을 만들어내는 두 극단을 달성함.
  • 목표는 두 기능을 동시에 수행하고 구분할 수 있는 기계를 만드는 것임.
  • 환각은 중요하지만, 컴퓨터가 환각 중임을 자각하는 것이 핵심임.

• 다섯 번째 댓글 요약:

  • 창의성이 좋다면 '창의성'이라 부르고, 나쁘다면 '환각'이라 부름.
  • 이는 버그나 한계가 아니라 기능임.

• 여섯 번째 댓글 요약:

  • '환각'이라는 용어는 현실에 존재하지 않는 것들을 인지하는 것을 의미하기 때문에, 현실과 잘 매핑되지 않는 문구를 생성하는 현상을 설명하기에 부적절한 용어임.

• 일곱 번째 댓글 요약:

  • AI에 대한 과대평가가 이제 '현실적인 단계'로 넘어가고 있음.
  • 최근에는 정렬 문제에 대한 열광적인 포스트를 보지 못함.

• 여덟 번째 댓글 요약:

  • LLM을 문자열의 확률 모델로 정의하며, 이는 인간 지능을 포함할 만큼 넓은 정의임.
  • 따라서 이들의 발견은 인간에게도 동일하게 적용될 수 있음.

• 아홉 번째 댓글 요약:

  • 환각을 계산 가능한 LLM과 계산 가능한 기준 진리 함수 사이의 불일치로 정의함.
  • 이는 단순히 부정확함이나 날조임.
  • 환각이라는 용어는 이 프로그램들이 지능적이라는 생각에 부응함.

• 열 번째 댓글 요약:

  • 환각을 계산 가능한 LLM과 계산 가능한 기준 진리 함수 사이의 불일치로 정의함.
  • 이 정의를 사용하면 '환각은 불가피하다'는 제목의 문장을 쉽게 반증할 수 있음.
  • 입력 컨텍스트 길이를 한 바이트로 고정하고, LLM이 'A'에 대해서만 '예'라고 대답하도록 훈련함.
  • 기준 진리 함수를 'A' 입력에 대한 정확한 출력이 '예'이고 다른 모든 입력에 대한 정확한 출력이 '아니오'라고 정의함.
  • 이 LLM은 모든 가능한 입력에 대해 출력이 기준 진리 함수와 일치함을 완전히 검증했으므로 결코 환각하지 않음.
  • 입력 컨텍스트 크기와 기준 진리 테이블의 항목 수를 증가시키는 것이 가능하며, 어느 단계에서도 환각이 '불가피'해지지 않음.