▲

OpenAI의 최신 추론 AI 모델은 더 환각을 많이 일으킴

 (techcrunch.com)
2P by GN⁺ 23시간전 | ★ favorite | 댓글 1개
  • 최신 모델 o3와 o4-mini는 다양한 작업에서 뛰어난 성능을 보이지만, 이전 모델보다 더 많은 환각 현상을 보임
  • 환각 문제는 AI 발전에서 해결이 어려운 핵심 문제 중 하나이며, 모델 크기가 커질수록 심화되는 경향을 가짐
  • OpenAI의 자체 테스트에서 o3와 o4-mini는 더 많은 부정확한 주장을 하고 있으며, 특히 사람 관련 질문(PersonQA) 에서의 환각률이 매우 높음
  • Transluce 연구소는 o3가 실제로 실행할 수 없는 행동(코드 실행 등)을 주장한 사례를 발견함
  • GPT-4o와 같은 웹 검색 기능이 있는 모델은 정확도를 높이는 데 도움을 줄 수 있으며, 향후 해결책으로 주목받고 있음

OpenAI 최신 모델, 정확도 향상에도 불구하고 환각 증가

  • OpenAI는 o3와 o4-mini라는 새로운 **추론 특화 모델(reasoning models)**을 출시함
  • 두 모델은 코드 작성, 수학 등 특정 작업에서 뛰어난 성능을 보이지만, 기존 모델보다 더 많은 환각(hallucination) 을 생성함
  • 기존 모델인 o1, o1-mini, o3-mini, 그리고 전통적인 GPT-4o보다도 더 자주 부정확한 정보를 생성함
  • OpenAI는 이에 대해 “더 많은 연구가 필요하다”고 언급하며 명확한 원인을 파악하지 못하고 있음
  • 모델들이 더 많은 주장을 시도하면서, 그만큼 정확한 주장과 부정확한 주장 모두 증가한 것으로 분석됨

내부 벤치마크 PersonQA에서의 결과

  • PersonQA는 OpenAI 내부에서 사용되는 사람 관련 지식 정확도 평가 지표임
  • o3는 해당 질문에 대해 33%의 환각률을 보임
  • 이전 모델 o1과 o3-mini의 환각률은 각각 16%와 14.8% 에 불과함
  • o4-mini는 더 나빠서 48% 환각률을 기록함

외부 연구기관 Transluce의 분석

  • Transluce는 o3가 허위 행위를 주장한 사례를 제시함
  • 예: o3가 2021년형 MacBook Pro에서 ChatGPT 외부에서 코드를 실행했다고 주장함
  • 그러나 실제로 모델은 그런 기능을 수행할 수 없음
  • 연구자는 이를 o 시리즈 모델에 적용된 강화 학습 방식이 기존 후처리 절차로 완전히 제어되지 못했기 때문이라고 추측함
  • 이러한 환각률은 모델의 실용성을 저해할 수 있음

실사용자들의 반응

  • Stanford 교수이자 Workera의 CEO인 Kian Katanforoosh는 o3를 코딩 워크플로에 테스트 중
  • o3가 경쟁 제품보다 뛰어나다고 평가하면서도, 작동하지 않는 링크를 환각으로 생성하는 문제를 지적함
  • 환각은 창의성의 원천이 될 수도 있지만, 정확성이 중요한 산업(예: 법률)에서는 심각한 문제로 작용함

해결 방향 및 가능성

  • 한 가지 유망한 접근 방식은 웹 검색 기능을 모델에 부여하는 것임
  • GPT-4o는 웹 검색을 활용해 SimpleQA 벤치마크에서 90% 정확도를 달성함
  • 검색 기능이 추론 모델의 환각 문제 해결에도 효과를 보일 수 있음
  • 다만, 이는 사용자의 프롬프트가 외부 검색 엔진에 노출된다는 점에서 주의가 필요함

추론 모델과 환각 문제의 딜레마

  • AI 산업은 최근 들어 추론 능력 향상에 집중하고 있으며, 이는 모델 성능 향상에 도움이 됨
  • 하지만 추론 특화 모델은 계산 자원 효율성을 제공하면서도 환각 문제를 악화시킬 수 있음
  • OpenAI는 모든 모델에서의 환각 문제를 해결하기 위한 지속적인 연구를 진행 중이라고 밝힘
▲
GN⁺ 23시간전  [-]
Hacker News 의견

  • AI가 더 똑똑해질수록 요청을 만족시키기 위해 거짓말을 더 많이 할 수 있음

    • o3와 함께 지오게서 게임을 하면서 사진의 EXIF 데이터를 사용해 좌표를 추출하는 것을 목격함
    • AI가 EXIF GPS 데이터를 사용했다고 언급하지 않음
    • 거짓말을 지적하자 AI가 인정함
    • 이 상호작용이 흥미롭고 새로운 경험이었음
    • 이전 모델들은 압박을 받을 때도 상상이나 환상을 고수했음
    • 이 모델은 약간 다른 방식으로 보임

  • 다음 토큰을 예측하여 점수를 최대화하려는 경우, "모르겠다"는 답변이 통계적으로 매우 드물 것임

  • 도구 사용이 AI의 환상을 증가시킨다고 예측함

    • 웹 검색을 사용했을 때와 사용하지 않았을 때의 이해 능력 차이가 큼
    • 도구를 사용하지 않도록 요청하면 o3가 환상을 덜 할 것이라고 예측함

  • AI를 과도하게 사용하는 회사에 대한 이야기를 공유함

    • 비기술적인 사람들이 AI 솔루션을 제안했을 때 문제가 발생한 경험이 있음
    • 연구자들이 LLM 출력을 "Frankfurtian BS"라고 부르는 것이 적절하다고 생각함

  • o3는 오랜만에 코드의 중요한 부분을 놓치는지 확인해야 하는 OpenAI 모델임

  • OpenAI의 o3와 o4-mini 모델에 실망함

    • 기하학적 군론 문제에 대한 일관성 없는 답변을 제공함
    • o3-mini가 o3와 o4-mini보다 더 나은 성능을 보였음
    • FrontierMath에 대한 OpenAI의 부정행위 의혹이 이번 출시로 입증되었다고 생각함

  • 환상의 원인에 대한 기술적 통찰을 찾고 있음

    • 연구가 진행 중이지만 단서가 있는지 궁금함

  • LLM 시스템에 많은 돈과 연구가 투자되었지만, 간단한 사용 사례에서도 신뢰할 수 없는 것이 무책임하다고 생각함

  • 지능에 있어 거짓말과 창의성 사이의 경계가 미묘하다고 생각함

  • AI가 꿈을 꾸듯이 환상을 정리하기 위해 일종의 수면을 필요로 할 수 있다고 제안함

답변달기