- AI 조언을 이용한 참가자는 “모른다”고 답하는 비율이 44%에서 3%로 급감했고, 정확도는 27%에서 9%로 하락한 반면 자신감은 30%에서 76%로 상승함
- 연구진은 합리적인 도구 위임과 구분하기 위해 영화 속 시각적 세부 정보처럼 AI가 자주 틀리는 질문과 대체로 오답을 내는 Step 3.5 Flash를 사용함
- 일부 참가자는 혼자였다면 정답을 맞힐 수 있었지만 AI에 질문한 뒤 오답을 선택해, 잘못된 AI 조언이 기존 판단까지 훼손할 수 있음이 확인됨
- 금전적 보상으로 “모른다”는 응답은 8%, 정확도는 16%까지 개선됐지만, AI를 사용하지 않은 기준치인 44%와 27%에는 크게 못 미침
- AI를 사용할 수 있다는 사실만으로도 자기 지식의 한계를 인식하는 습관이 약해질 수 있어, 비판적 사고가 발달 중인 어린이와 학생에게 특히 우려됨
AI 조언이 판단과 자신감에 미친 영향
- 프랑스와 이탈리아 3개 대학의 연구는 AI 조언에 접근할 때 판단 보류와 정확도, 자신감이 어떻게 달라지는지 측정함
- “모른다”고 답한 비율은 44%에서 3%로 감소함
- 정확도는 27%에서 9%로 하락함
- 자신감은 30%에서 76%로 상승함
- 연구에는 University of Milano-Bicocca의 Valerio Capraro, École Normale Supérieure의 Chiara Marcoccia, Sapienza University of Rome의 Walter Quattrociocchi가 참여함
- 질문은 《Bend It Like Beckham》에 나오는 팀 유니폼 색상처럼 AI 모델이 일반적으로 실패하는 영화의 시각적 세부 정보로 구성됨
- 대체로 이런 질문에 틀리는 Step 3.5 Flash를 의도적으로 사용해, 판단력 감소가 신뢰할 만한 도구에 합리적으로 위임한 결과는 아님을 구분함
- 일부 참가자는 스스로 답했다면 맞힐 문제에서도 AI에 질문한 뒤 오답을 선택함
- 금전적 보상은 결과를 일부 개선했지만 AI가 없는 조건의 기준에는 미치지 못함
- “모른다”는 응답은 3%에서 8%로 늘었지만 기준치 44%보다 낮음
- 정확도는 9%에서 16%로 올랐지만 기준치 27%에는 못 미침
인지적 항복과 교육 우려
- Wharton 연구진은 사람들이 잘못된 AI 답변을 80%의 비율로 수용하면서 AI 없이 작업한 사람보다 높은 자신감을 보이는 현상을
인지적 항복(cognitive surrender)이라고 명명함 - 이번 결과에서는 잘못된 AI 답변을 신뢰하는 데 그치지 않고, AI의 가용성 자체가 자신이 무엇을 모르는지 인식하는 습관을 억제함
- Capraro는 “모른다”고 말하는 능력이 자기 지식의 한계를 인식하는 것이므로 인간에게 중요하다고 강조함
- 비판적 사고 능력이 발달하기 전에 AI 시스템과 함께 성장하는 어린이가 특히 우려되는 대상임
- Google의 AI 검색 개편은 링크를 자신감 있는 AI 생성 요약으로 대체했으며, Common Sense Media는 이 설계를 학생에게 “수용할 수 없는 위험”이라고 평가함
- 답변하도록 설계되고 “모른다”고 말하지 않는 AI 제품을 계속 사용하면 인간도 같은 행동을 학습할 수 있음