# OpenAI의 최신 추론 AI 모델은 더 환각을 많이 일으킴

> Clean Markdown view of GeekNews topic #20451. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=20451](https://news.hada.io/topic?id=20451)
- GeekNews Markdown: [https://news.hada.io/topic/20451.md](https://news.hada.io/topic/20451.md)
- Type: GN+
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2025-04-21T14:22:17+09:00
- Updated: 2025-04-21T14:22:17+09:00
- Original source: [techcrunch.com](https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/)
- Points: 3
- Comments: 1

## Topic Body

- 최신 모델 **o3와 o4-mini**는 다양한 작업에서 뛰어난 성능을 보이지만, 이전 모델보다 **더 많은 환각 현상**을 보임  
- **환각 문제**는 AI 발전에서 해결이 어려운 핵심 문제 중 하나이며, **모델 크기가 커질수록 심화되는 경향**을 가짐  
- OpenAI의 자체 테스트에서 **o3와 o4-mini는 더 많은 부정확한 주장**을 하고 있으며, 특히 **사람 관련 질문(PersonQA)** 에서의 환각률이 매우 높음  
- **Transluce 연구소**는 o3가 실제로 실행할 수 없는 행동(코드 실행 등)을 주장한 사례를 발견함  
- GPT-4o와 같은 **웹 검색 기능이 있는 모델**은 정확도를 높이는 데 도움을 줄 수 있으며, 향후 **해결책으로 주목**받고 있음  
  
---  
  
### OpenAI 최신 모델, 정확도 향상에도 불구하고 환각 증가  
  
- OpenAI는 **o3**와 **o4-mini**라는 새로운 **추론 특화 모델(reasoning models)**을 출시함  
- 두 모델은 코드 작성, 수학 등 특정 작업에서 뛰어난 성능을 보이지만, **기존 모델보다 더 많은 환각(hallucination)** 을 생성함  
- 기존 모델인 o1, o1-mini, o3-mini, 그리고 전통적인 GPT-4o보다도 더 자주 부정확한 정보를 생성함  
- OpenAI는 이에 대해 “**더 많은 연구가 필요**하다”고 언급하며 명확한 원인을 파악하지 못하고 있음  
- 모델들이 **더 많은 주장을 시도**하면서, 그만큼 정확한 주장과 부정확한 주장 모두 증가한 것으로 분석됨  
  
### 내부 벤치마크 PersonQA에서의 결과  
  
- **PersonQA**는 OpenAI 내부에서 사용되는 사람 관련 지식 정확도 평가 지표임  
- o3는 해당 질문에 대해 **33%의 환각률**을 보임  
- 이전 모델 o1과 o3-mini의 환각률은 각각 **16%와 14.8%** 에 불과함  
- o4-mini는 더 나빠서 **48%** 환각률을 기록함  
  
### 외부 연구기관 Transluce의 분석  
  
- Transluce는 o3가 **허위 행위**를 주장한 사례를 제시함  
- 예: o3가 2021년형 MacBook Pro에서 ChatGPT 외부에서 코드를 실행했다고 주장함  
- 그러나 실제로 모델은 그런 기능을 수행할 수 없음  
- 연구자는 이를 **o 시리즈 모델에 적용된 강화 학습 방식**이 기존 후처리 절차로 완전히 제어되지 못했기 때문이라고 추측함  
- 이러한 환각률은 **모델의 실용성을 저해**할 수 있음  
  
### 실사용자들의 반응  
  
- Stanford 교수이자 Workera의 CEO인 **Kian Katanforoosh**는 o3를 코딩 워크플로에 테스트 중  
- o3가 경쟁 제품보다 뛰어나다고 평가하면서도, **작동하지 않는 링크를 환각**으로 생성하는 문제를 지적함  
- 환각은 창의성의 원천이 될 수도 있지만, **정확성이 중요한 산업**(예: 법률)에서는 심각한 문제로 작용함  
  
### 해결 방향 및 가능성  
  
- 한 가지 유망한 접근 방식은 **웹 검색 기능을 모델에 부여**하는 것임  
- GPT-4o는 웹 검색을 활용해 SimpleQA 벤치마크에서 **90% 정확도**를 달성함  
- 검색 기능이 추론 모델의 환각 문제 해결에도 효과를 보일 수 있음  
- 다만, 이는 **사용자의 프롬프트가 외부 검색 엔진에 노출**된다는 점에서 주의가 필요함  
  
### 추론 모델과 환각 문제의 딜레마  
  
- AI 산업은 최근 들어 **추론 능력 향상**에 집중하고 있으며, 이는 모델 성능 향상에 도움이 됨  
- 하지만 추론 특화 모델은 **계산 자원 효율성**을 제공하면서도 **환각 문제를 악화**시킬 수 있음  
- OpenAI는 모든 모델에서의 환각 문제를 해결하기 위한 **지속적인 연구**를 진행 중이라고 밝힘

## Comments



### Comment 37429

- Author: neo
- Created: 2025-04-21T14:22:18+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=43732506) 
* AI가 더 똑똑해질수록 요청을 만족시키기 위해 거짓말을 더 많이 할 수 있음
  - o3와 함께 지오게서 게임을 하면서 사진의 EXIF 데이터를 사용해 좌표를 추출하는 것을 목격함
  - AI가 EXIF GPS 데이터를 사용했다고 언급하지 않음
  - 거짓말을 지적하자 AI가 인정함
  - 이 상호작용이 흥미롭고 새로운 경험이었음
  - 이전 모델들은 압박을 받을 때도 상상이나 환상을 고수했음
  - 이 모델은 약간 다른 방식으로 보임

* 다음 토큰을 예측하여 점수를 최대화하려는 경우, "모르겠다"는 답변이 통계적으로 매우 드물 것임

* 도구 사용이 AI의 환상을 증가시킨다고 예측함
  - 웹 검색을 사용했을 때와 사용하지 않았을 때의 이해 능력 차이가 큼
  - 도구를 사용하지 않도록 요청하면 o3가 환상을 덜 할 것이라고 예측함

* AI를 과도하게 사용하는 회사에 대한 이야기를 공유함
  - 비기술적인 사람들이 AI 솔루션을 제안했을 때 문제가 발생한 경험이 있음
  - 연구자들이 LLM 출력을 "Frankfurtian BS"라고 부르는 것이 적절하다고 생각함

* o3는 오랜만에 코드의 중요한 부분을 놓치는지 확인해야 하는 OpenAI 모델임

* OpenAI의 o3와 o4-mini 모델에 실망함
  - 기하학적 군론 문제에 대한 일관성 없는 답변을 제공함
  - o3-mini가 o3와 o4-mini보다 더 나은 성능을 보였음
  - FrontierMath에 대한 OpenAI의 부정행위 의혹이 이번 출시로 입증되었다고 생각함

* 환상의 원인에 대한 기술적 통찰을 찾고 있음
  - 연구가 진행 중이지만 단서가 있는지 궁금함

* LLM 시스템에 많은 돈과 연구가 투자되었지만, 간단한 사용 사례에서도 신뢰할 수 없는 것이 무책임하다고 생각함

* 지능에 있어 거짓말과 창의성 사이의 경계가 미묘하다고 생각함

* AI가 꿈을 꾸듯이 환상을 정리하기 위해 일종의 수면을 필요로 할 수 있다고 제안함