왜 언어 모델은 환각을 발생시킬까? by OpenAI

AI 시스템의 신뢰성 문제

1. AI 시스템의 유용성과 신뢰성 향상 노력

   • OpenAI는 AI 시스템을 더욱 유용하고 신뢰할 수 있도록 만들기 위해 노력하고 있다.
   • 이러한 노력에도 불구하고, 언어 모델이 더욱 능력 있게 발전하더라도 해결하기 어려운 문제 중 하나가 환각(hallucinations) 이다.

2. 환각의 정의와 문제점

   • 환각이란 모델이 자신 있게 생성한 답변이 사실이 아닌 경우를 의미한다.
   • 이러한 현상은 AI 시스템의 신뢰성을 저하시킬 수 있는 중요한 문제이다.

3. 연구 결과와 환각의 원인

   • 새로운 연구 논문에서는 언어 모델이 환각을 일으키는 이유가 표준 훈련 및 평가 절차가 불확실성을 인정하기보다는 추측을 보상하기 때문이라고 주장하고 있다.
   • 이는 AI 모델이 잘못된 정보를 생성할 가능성을 높인다.

4. ChatGPT와 GPT-5의 환각 현상

   • ChatGPT 또한 환각을 경험한다.
   • GPT-5는 특히 추론을 할 때 환각이 상당히 줄어들었지만, 여전히 환각이 발생할 수 있다.
   • 이는 AI 시스템의 신뢰성을 높이기 위한 지속적인 연구와 개선이 필요함을 시사한다.

환각의 정의

• 환각은 언어 모델에 의해 생성된 그럴듯하지만 잘못된 진술이다.
• 이러한 환각은 예상치 못한 방식으로 나타날 수 있으며, 심지어 간단한 질문에 대해서도 발생할 수 있다.

환각의 예시

• 예를 들어, 널리 사용되는 챗봇에게 Adam Tauman Kalai의 박사 논문 제목을 물었을 때, 챗봇은 세 가지 다른 답변을 자신 있게 제시하였다.
• 그러나 제시된 답변은 모두 틀린 정보였다.

평가 방법의 문제점

• 현재 평가 방법은 잘못된 인센티브를 설정하고 있다.
• 평가 자체가 환각을 직접적으로 유발하지는 않지만, 대부분의 평가는 모델 성능을 측정하는 방식이 추측을 장려하고 불확실성에 대한 정직함을 저해한다.
• 예를 들어, 다지선다형 시험을 생각해보면, 정답을 모를 경우 무작정 추측을 하게 되면 운이 좋으면 맞출 수 있다.
• 이러한 방식은 정확한 평가보다는 무작위 추측을 통해 성과를 올릴 수 있는 환경을 조성한다.

모델의 성능 평가 방식

1. 모델의 성능 평가 개념
   모델의 성능 평가는 주어진 질문에 대한 응답의 정확성을 기준으로 이루어진다.

2. 불확실성의 처리
   모델이 특정 질문에 대해 답을 모를 경우, '모른다'고 답하는 것이 정확한 점수를 보장하지 않는다.

3. 추측의 가능성
   예를 들어, 모델이 누군가의 생일을 묻는 질문에 대해 '9월 10일'이라고 추측할 경우, 1/365의 확률로 맞출 수 있다.

4. 성능 점수의 차이
   수천 개의 테스트 질문에 대해, 추측하는 모델은 불확실성을 인정하는 신중한 모델보다 점수판에서 더 나은 성과를 보일 수 있다.

결론 및 시사점

• 모델의 성능 평가에서의 한계
  추측하는 모델이 더 높은 점수를 기록할 수 있지만, 이는 실제로 정확한 정보를 제공하는 것이 아님을 유의해야 한다.

• 신뢰성의 중요성
  따라서, 모델의 신뢰성과 정확성을 평가할 때는 단순한 점수 외에도 정확한 정보 제공의 중요성을 고려해야 한다.

모델의 정확성과 오류율 비교

• 정확성: 구형 OpenAI o4-mini 모델은 약간 더 나은 성능을 보인다.
• 오류율: 그러나 이 모델의 오류율(즉, 환각 발생률)은 상당히 높다.
• 전략적 추측: 불확실할 때 전략적으로 추측하는 것은 정확성을 향상시키지만, 오류와 환각을 증가시킨다.
• 평가 기준: 수십 개의 평가 결과를 평균화할 때, 대부분의 벤치마크는 정확성 지표를 강조한다. 이는 옳고 그름 사이의 잘못된 이분법을 초래한다.

평가의 새로운 접근 방식

1. 문제 제기
   기존의 평가 방식은 정확성에만 초점을 맞추고 있다. 이는 평가의 신뢰성을 저하시킬 수 있는 요소로 작용할 수 있다.

2. 해결책 제안
   평가에서 확신이 있는 오류에 대해 더 큰 패널티를 부여하고, 불확실성에 대해서는 덜 패널티를 부여하는 방식으로 접근할 수 있다. 이는 평가의 공정성을 높이는 방법이 될 수 있다.

3. 부분 점수 부여
   적절한 불확실성 표현에 대해 부분 점수를 부여하는 것이 중요하다. 이는 학생들이 자신의 생각을 표현할 수 있는 기회를 제공한다.

4. 연구 동향
   여러 연구 그룹이 불확실성과 보정을 고려한 평가 방식을 탐구하고 있다. 이러한 접근은 평가의 정확성을 넘어서는 새로운 기준을 제시할 수 있다.

환각의 원인 이해하기

• 환각은 특정한 사실적 부정확성이 발생하는 현상이다.
• 이러한 부정확성의 출처는 언어 모델의 학습 과정에 있다.
• 언어 모델은 사전 훈련(pretraining) 을 통해 대량의 텍스트에서 다음 단어를 예측하는 방식으로 학습한다.
• 전통적인 기계 학습 문제와는 달리, 각 진술에 대해 '참/거짓' 레이블이 부착되지 않는다.

환각의 지속적인 문제

• 환각을 제거하기 어려운 이유는 여러 가지가 있다.
• 환각의 원인으로는 언어 모델의 학습 방식이 중요한 역할을 한다.
• 이러한 학습 방식은 정확한 정보를 제공하지 않기 때문에 환각이 발생할 수 있다.
• 환각의 특수성과 복잡성은 언어 모델의 훈련 데이터와 관련이 깊다.

통계적 관점의 중요성

• 본 논문은 환각의 본질을 명확히 하고 일반적인 오해에 반박하는 것을 목표로 한다.
• 통계적 접근 방식을 통해 환각 현상을 분석하고 이해하는 데 기여하고자 한다.
• 환각은 인공지능 모델의 정확성과 밀접한 관련이 있다.

환각과 정확성의 관계

• 주장: 정확성을 개선하면 환각이 제거될 것이라는 믿음이 있다.
• 100% 정확한 모델은 결코 환각을 일으키지 않는다고 주장된다.
• 그러나 이는 환각의 본질을 간과한 것이다.

정확성의 한계

• 발견: 정확성은 결코 100%에 도달할 수 없다.
• 이유:
  1. 모델의 크기와 관계없이
  2. 검색 및 추론 능력에 관계없이
  3. 일부 현실 세계의 질문은 본질적으로 답할 수 없는 질문이다.
• 이러한 한계는 환각 현상을 완전히 제거할 수 없음을 시사한다.

향후 연구 방향

• 향후 연구는 환각을 줄이기 위한 대안적 접근법을 모색해야 한다.
• 모델의 정확성을 높이는 것 외에도, 환각의 원인을 이해하고 이를 해결하기 위한 다양한 방법론이 필요하다.
• 환각 현상에 대한 보다 깊은 이해는 인공지능의 신뢰성을 높이는 데 기여할 것이다.

[epdlemflaj]

평가 방법의 문제점 부분을 보니까
대학생때 아무것도 몰라도 시험 답안지에 이상한말 적고있던게 생각나네요
llm 이 없던 시절에도 할루시네이션을 생성하고있었;;;

[conanoc]

언어모델 챗서비스에서도 logprop 혹은 perplexity를 이용해서 답변의 확신 정도를 표시해줄수 있을텐데 일부러 안하는거겠죠. "이 답변이 아주 정확하지는 않아요" 라고 답변할때마다 표시를 하는게 자신들의 브랜드 이미지에 도움이 안될테니까.

[cosine20]

Bayesian Neural Network가 미래입니다.