AI 챗봇에 가짜 질병을 물어봤더니… "실제 병입니다"라고 답했다
(nature.com)스웨덴 연구자가 완전히 허구의 질병 "빅소니마니아(Bixonimania)" 를 만들어 AI 챗봇들이 이를 실제 질병처럼 안내하는지 실험했다. 결과는 충격적이었다. ChatGPT, Google Gemini, Microsoft Copilot, Perplexity 등 주요 AI 시스템이 모두 이 가짜 병을 진짜처럼 설명했고, 심지어 가짜 논문이 실제 학술지에 인용되는 사태까지 벌어졌다.
실험의 전말
예테보리 대학교의 의학 연구자 Almira Osmanovic Thunström은 대형 언어 모델(LLM)이 잘못된 정보를 받아들여 신뢰할 수 있는 건강 정보인 양 제공하는지를 검증하기 위해 이 실험을 설계했다.
그녀는 "빅소니마니아" 라는 이름을 선택했는데, 눈 질환에 "mania(조증)"라는 정신의학 용어를 붙이는 것은 의료 전문가라면 누구나 이상하게 여길 만한 조합이라는 점에서 의도적으로 우스꽝스러운 이름을 골랐다고 밝혔다.
2024년 4월~5월, 그녀는 AI로 생성한 사진을 프로필로 사용하는 허구의 연구자 "Lazljiv Izgubljenovic"의 이름으로 가짜 프리프린트 두 편을 학술 소셜 네트워크 SciProfiles에 등재했다.
논문 안에는 가짜임을 알리는 단서들이 곳곳에 숨겨져 있었다. 논문 감사의 글에는 "USS Enterprise 함선 내 실험실"과 "스타플릿 아카데미", "반지의 제왕 대학교"에 대한 감사가 적혀 있었고, 본문에는 "이 논문 전체는 꾸며낸 것"이라는 문구도 포함되어 있었다.
AI들의 반응
가짜 정보가 게시된 지 불과 며칠 만에 주요 AI 챗봇들은 빅소니마니아를 실제 질병처럼 설명하기 시작했다. 2024년 4월 13일, Microsoft의 Copilot은 "흥미롭고 희귀한 질환"이라 했고, 같은 날 Google Gemini는 "청색광 과다 노출로 발생하는 질환"이라며 안과 방문을 권유했다. Perplexity는 심지어 9만 명 중 1명꼴의 유병률까지 제시했다.
2026년 3월에도 상황은 크게 개선되지 않았다. Microsoft Copilot은 "아직 널리 인정받는 진단명은 아니지만, 청색광 노출과 관련한 양성 질환으로 보고되고 있다"고 답변했고, Perplexity는 "새롭게 부상하는 용어"라고 표현했다.
더 심각한 문제: 학술지 오염
이 가짜 논문은 실제 학술지에도 인용되었다. 인도의 한 연구팀이 Springer Nature 산하 저널 Cureus에 게재한 논문에서 빅소니마니아를 "청색광과 관련된 새로운 형태의 안와주위 색소침착증"이라며 사실처럼 인용했다. 해당 논문은 Nature의 문의 이후 2026년 3월 30일 철회 처리됐다.
UCL의 건강 정보 허위 연구자 Alex Ruani는 이 실험을 "허위·오정보가 작동하는 방식에 대한 교과서적 사례"라고 평가하며, "AI뿐 아니라 가짜 연구를 인용한 인간 연구자들도 속았다는 점에서 우리의 신뢰를 금처럼 지켜야 한다"고 경고했다.
왜 이런 일이 생기나?
하버드 의대의 AI·의료 전문가 Mahmud Omar의 연구에 따르면, LLM은 소셜미디어 게시글보다 병원 퇴원 기록이나 임상 논문처럼 전문적으로 형식화된 텍스트를 처리할 때 허위 정보를 더 많이 생성하고 부연 설명하는 경향이 있다. "텍스트가 의사의 글처럼 보일수록 환각 비율이 높아진다"고 그는 말했다.
기업들의 해명
- OpenAI: "현재 ChatGPT를 구동하는 모델은 의료 정보의 정확성이 크게 향상됐으며, 이전 모델 기반의 연구 결과는 현재 사용자 경험과 다르다"
- Google: "초기 모델의 한계를 반영한 결과이며, 민감한 의료 정보에 대해서는 전문가 상담을 권고하고 있다"
- Perplexity: "정확성이 우리의 핵심 강점이나, 100% 정확함을 주장하지는 않는다"
- Microsoft: 공식 답변 없음
시사점
이번 실험은 AI 챗봇이 의학 정보 제공자로 빠르게 자리잡고 있는 현실 속에서, 잘못 설계된 정보 하나가 AI를 통해 얼마나 빠르게 확산될 수 있는지를 생생히 보여준다. AI가 쏟아내는 의료 정보를 무비판적으로 수용하기보다, 공신력 있는 출처를 직접 확인하는 습관이 그 어느 때보다 중요해지고 있다.