# 왜 언어 모델은 환각을 발생시킬까? by OpenAI

> Clean Markdown view of GeekNews topic #22952. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=22952](https://news.hada.io/topic?id=22952)
- GeekNews Markdown: [https://news.hada.io/topic/22952.md](https://news.hada.io/topic/22952.md)
- Type: news
- Author: [stevenk](https://news.hada.io/@stevenk)
- Published: 2025-09-08T00:38:20+09:00
- Updated: 2025-09-08T00:38:20+09:00
- Original source: [openai.com](https://openai.com/index/why-language-models-hallucinate/)
- Points: 19
- Comments: 3

## Summary

**언어 모델**이 생성하는 **환각(hallucination)** 현상은 AI의 핵심 신뢰성 문제로, 잘못된 정보가 확신에 차게 제시될 때 발생합니다. 이런 현상의 중요한 원인은 **모델 평가 및 훈련 방식**이 ‘불확실성’을 인정하기보다는 **추측**을 높게 평가하도록 설계된 시스템 구조에 있습니다. 단순히 **정확성 점수**만을 기준으로 삼으면, 실제 정보 제공 능력은 떨어질 수 있고, 이는 **AI의 신뢰성 및 활용 확장**에 직접적인 영향을 미칩니다. 앞으로는 **불확실성 인식**과 그에 대한 적절한 평가, 환각의 근본적 원인 규명이 AI 시스템의 발전에 있어 중요한 연구 축이 될 전망입니다.

## Topic Body

##### AI 시스템의 신뢰성 문제  
  
1. **AI 시스템의 유용성과 신뢰성 향상 노력**  
   - OpenAI는 **AI 시스템**을 더욱 유용하고 신뢰할 수 있도록 만들기 위해 노력하고 있다.  
   - 이러한 노력에도 불구하고, **언어 모델**이 더욱 능력 있게 발전하더라도 해결하기 어려운 문제 중 하나가 **환각(hallucinations)** 이다.  
  
2. **환각의 정의와 문제점**  
   - 환각이란 모델이 **자신 있게** 생성한 답변이 **사실이 아닌 경우**를 의미한다.  
   - 이러한 현상은 AI 시스템의 신뢰성을 저하시킬 수 있는 중요한 문제이다.  
  
3. **연구 결과와 환각의 원인**  
   - 새로운 연구 논문에서는 언어 모델이 환각을 일으키는 이유가 **표준 훈련 및 평가 절차**가 **불확실성을 인정하기보다는 추측을 보상**하기 때문이라고 주장하고 있다.  
   - 이는 AI 모델이 잘못된 정보를 생성할 가능성을 높인다.  
  
4. **ChatGPT와 GPT-5의 환각 현상**  
   - ChatGPT 또한 환각을 경험한다.  
   - GPT-5는 특히 **추론**을 할 때 환각이 **상당히 줄어들었지만**, 여전히 환각이 발생할 수 있다.  
   - 이는 AI 시스템의 신뢰성을 높이기 위한 지속적인 연구와 개선이 필요함을 시사한다.  
  
##### 환각의 정의  
- **환각**은 언어 모델에 의해 생성된 **그럴듯하지만 잘못된 진술**이다.  
- 이러한 환각은 **예상치 못한 방식**으로 나타날 수 있으며, 심지어 간단한 질문에 대해서도 발생할 수 있다.  
  
##### 환각의 예시  
- 예를 들어, 널리 사용되는 챗봇에게 **Adam Tauman Kalai**의 박사 논문 제목을 물었을 때, 챗봇은 **세 가지 다른 답변**을 자신 있게 제시하였다.  
- 그러나 제시된 답변은 **모두 틀린** 정보였다.  
  
##### 평가 방법의 문제점  
- **현재 평가 방법**은 잘못된 인센티브를 설정하고 있다.  
- **평가 자체**가 환각을 직접적으로 유발하지는 않지만, 대부분의 평가는 모델 성능을 측정하는 방식이 **추측**을 장려하고 **불확실성에 대한 정직함**을 저해한다.  
- 예를 들어, **다지선다형 시험**을 생각해보면, 정답을 모를 경우 무작정 추측을 하게 되면 운이 좋으면 맞출 수 있다.  
- 이러한 방식은 **정확한 평가**보다는 **무작위 추측**을 통해 성과를 올릴 수 있는 환경을 조성한다.  
  
##### 모델의 성능 평가 방식  
  
1. **모델의 성능 평가 개념**  
   모델의 성능 평가는 주어진 질문에 대한 응답의 정확성을 기준으로 이루어진다.   
  
2. **불확실성의 처리**  
   모델이 특정 질문에 대해 답을 모를 경우, '모른다'고 답하는 것이 정확한 점수를 보장하지 않는다.   
  
3. **추측의 가능성**  
   예를 들어, 모델이 누군가의 생일을 묻는 질문에 대해 '9월 10일'이라고 추측할 경우, **1/365**의 확률로 맞출 수 있다.   
  
4. **성능 점수의 차이**  
   수천 개의 테스트 질문에 대해, 추측하는 모델은 불확실성을 인정하는 신중한 모델보다 점수판에서 더 나은 성과를 보일 수 있다.   
  
##### 결론 및 시사점  
  
- **모델의 성능 평가에서의 한계**  
  추측하는 모델이 더 높은 점수를 기록할 수 있지만, 이는 실제로 정확한 정보를 제공하는 것이 아님을 유의해야 한다.   
  
- **신뢰성의 중요성**  
  따라서, 모델의 신뢰성과 정확성을 평가할 때는 단순한 점수 외에도 **정확한 정보 제공**의 중요성을 고려해야 한다.  
  
##### 모델의 정확성과 오류율 비교  
- **정확성**: 구형 OpenAI o4-mini 모델은 약간 더 나은 성능을 보인다.  
- **오류율**: 그러나 이 모델의 **오류율**(즉, 환각 발생률)은 상당히 높다.  
- **전략적 추측**: 불확실할 때 전략적으로 추측하는 것은 정확성을 향상시키지만, **오류**와 **환각**을 증가시킨다.  
- **평가 기준**: 수십 개의 평가 결과를 평균화할 때, 대부분의 벤치마크는 정확성 지표를 강조한다. 이는 **옳고 그름** 사이의 잘못된 이분법을 초래한다.  
  
##### 평가의 새로운 접근 방식  
  
1. **문제 제기**  
   기존의 평가 방식은 **정확성**에만 초점을 맞추고 있다. 이는 평가의 신뢰성을 저하시킬 수 있는 요소로 작용할 수 있다.  
  
2. **해결책 제안**  
   평가에서 **확신이 있는 오류**에 대해 더 큰 패널티를 부여하고, **불확실성**에 대해서는 덜 패널티를 부여하는 방식으로 접근할 수 있다. 이는 평가의 공정성을 높이는 방법이 될 수 있다.  
  
3. **부분 점수 부여**  
   적절한 불확실성 표현에 대해 **부분 점수**를 부여하는 것이 중요하다. 이는 학생들이 자신의 생각을 표현할 수 있는 기회를 제공한다.  
  
4. **연구 동향**  
   여러 연구 그룹이 **불확실성**과 **보정**을 고려한 평가 방식을 탐구하고 있다. 이러한 접근은 평가의 정확성을 넘어서는 새로운 기준을 제시할 수 있다.  
  
##### 환각의 원인 이해하기  
- **환각**은 특정한 사실적 부정확성이 발생하는 현상이다.  
- 이러한 부정확성의 출처는 **언어 모델**의 학습 과정에 있다.  
- 언어 모델은 **사전 훈련(pretraining)** 을 통해 대량의 텍스트에서 다음 단어를 예측하는 방식으로 학습한다.  
- 전통적인 기계 학습 문제와는 달리, 각 진술에 대해 **'참/거짓' 레이블**이 부착되지 않는다.  
  
##### 환각의 지속적인 문제  
- 환각을 제거하기 어려운 이유는 여러 가지가 있다.  
- 환각의 원인으로는 언어 모델의 학습 방식이 중요한 역할을 한다.  
- 이러한 학습 방식은 **정확한 정보**를 제공하지 않기 때문에 환각이 발생할 수 있다.  
- 환각의 특수성과 복잡성은 언어 모델의 훈련 데이터와 관련이 깊다.  
  
##### 통계적 관점의 중요성  
- 본 논문은 **환각의 본질**을 명확히 하고 일반적인 오해에 반박하는 것을 목표로 한다.  
- 통계적 접근 방식을 통해 환각 현상을 분석하고 이해하는 데 기여하고자 한다.  
- 환각은 인공지능 모델의 **정확성**과 밀접한 관련이 있다.  
  
##### 환각과 정확성의 관계  
- 주장: **정확성을 개선**하면 환각이 제거될 것이라는 믿음이 있다.  
- 100% 정확한 모델은 결코 환각을 일으키지 않는다고 주장된다.  
- 그러나 이는 환각의 본질을 간과한 것이다.  
  
##### 정확성의 한계  
- 발견: **정확성**은 결코 100%에 도달할 수 없다.  
- 이유:   
  1. 모델의 크기와 관계없이  
  2. 검색 및 추론 능력에 관계없이  
  3. 일부 현실 세계의 질문은 본질적으로 **답할 수 없는** 질문이다.  
- 이러한 한계는 환각 현상을 완전히 제거할 수 없음을 시사한다.  
  
##### 향후 연구 방향  
- 향후 연구는 환각을 줄이기 위한 **대안적 접근법**을 모색해야 한다.  
- 모델의 정확성을 높이는 것 외에도, 환각의 원인을 이해하고 이를 해결하기 위한 다양한 방법론이 필요하다.  
- 환각 현상에 대한 보다 깊은 이해는 인공지능의 **신뢰성**을 높이는 데 기여할 것이다.

## Comments



### Comment 43506

- Author: conanoc
- Created: 2025-09-08T12:13:54+09:00
- Points: 1

언어모델 챗서비스에서도 logprop 혹은 perplexity를 이용해서 답변의 확신 정도를 표시해줄수 있을텐데 일부러 안하는거겠죠. "이 답변이 아주 정확하지는 않아요" 라고 답변할때마다 표시를 하는게 자신들의 브랜드 이미지에 도움이 안될테니까.

### Comment 43488

- Author: cosine20
- Created: 2025-09-08T09:58:53+09:00
- Points: 1

Bayesian Neural Network가 미래입니다.

### Comment 43504

- Author: epdlemflaj
- Created: 2025-09-08T11:39:18+09:00
- Points: 3

평가 방법의 문제점 부분을 보니까  
대학생때 아무것도 몰라도 시험 답안지에 이상한말 적고있던게 생각나네요  
llm 이 없던 시절에도 할루시네이션을 생성하고있었;;;