▲

AI로 인한 사망

 (davebarry.substack.com)
1P by GN⁺ 11시간전 | ★ favorite | 댓글 1개
  • Google AI Overview에서 'Dave Barry'가 사망했다는 부정확한 정보가 표시됨
  • 실제로는 Dave Barry가 생존 중임에도, AI가 잘못된 정보를 여러 번 반복적으로 반영함
  • 사용자가 피드백을 여러 차례 제출했지만, AI와의 채팅 및 문제 수정 과정에서 만족스러운 해결이 이뤄지지 않음
  • AI가 실제 인물 정보를 혼동하여 타인과 혼합하거나 반복적으로 오류를 발생시킴
  • 이번 사례를 통해 AI가 아직 사실관계에 기반한 업무에는 한계가 있음을 알 수 있음

서론

  • Dave Barry는 자신의 죽음을 'Google'에서 알게 됨
  • Google에서 자신의 이름("Dave Barry")을 검색했을 때 Google AI Overview라는 요약 기능이 나타남
  • 이 기능은 인공지능이 검색 결과를 요약해 보여주는 것으로, 최근 많은 이용자들의 관심을 끄는 서비스임

잘못된 사망 정보 확인

  • Google AI Overview에는 Dave Barry의 기본 인적사항과 함께 "People also ask"라는 질문 목록이 있음
  • 해당 질문 중 Dave Barry가 사망했다는 내용이 포함되어 있었으며, 실제로는 사실이 아님
  • Dave Barry는 스스로 살아있음을 여러 의료진의 진단 등으로 확신함

Google AI의 피드백 처리 과정

  • Dave Barry는 Google AI Overview의 잘못된 정보에 대해 피드백을 제출함
  • Google이 자동화된 시스템임을 감안하면 조치가 신속히 이루어지길 기대하지 않았음
  • 그러나 피드백 제출 후, 질문 부분이 수정되었으나 오히려 정확한 설명이 사라지고 더 부정확한 정보(다른 Dave Barry에 대한 내용)로 대체됨

AI와의 소통 문제

  • Dave Barry는 AI가 자신의 상태를 잘못 이해함을 다시 지적하기 위해 추가 피드백을 시작함
  • 이 과정에서 AI 챗봇과의 대화가 제대로 이뤄지지 않고, AI는 의미를 제대로 파악하지 못함
  • 반복된 설명에도 불구하고 AI는 문제를 인지하지 못하고, 마치 기계와 소통하듯 대화가 진행됨

반복된 오류와 임시적 해결

  • 추가 피드백 제출 이후, Overview 내용이 다시 수정되어 사망 사실이 사라짐
  • 그러나 여전히 다른 부분(책 출간 정보, 칼럼 활동 연혁 등)에 오류가 있었음
  • 이후에도 Overview가 다시 사망으로 바뀌는 등 정보의 정확성이 불안정하게 반복적으로 변경됨
  • 마지막으로 확인 시에는 "혼동이 있다"는 설명과 함께 Dave Barry가 다시 살아있는 것으로 표시됨

결론 및 교훈

  • 이번 경험을 통해, AI는 매우 강력한 도구지만 정확한 사실 확인이 필요한 일에는 신뢰하기 어렵다는 점을 알 수 있음
  • 현재로서는 AI는 신뢰성이 낮은 작업(예: 추천서 작성, 정책 초안 등)에 더 적합하며, 고정밀을 요하는 분야(예: 항공기 운항 등)에는 부적합함
  • 최종적으로 AI의 한계와 함께, 향후 이용시 주의가 필요함을 시사함

설문조사

  • 독자들에게 "AI가 앞으로 인류에 유익한 존재가 될 것이라고 생각하는가?"라는 설문이 제시됨
  • 추가로 가벼운 농담과 함께 마무리됨
▲
GN⁺ 11시간전  [-]
Hacker News 의견

  • 우리 동네에서 인기 있는 가게가 Google Maps에 다음과 같이 요약되어 있음
    활기찬 바(Bar)에서 음료와 po' boy 샌드위치를 즐길 수 있고, 주크박스, 당구대, 전자 다트가 있다고 적혀 있지만 실제로는 po' boy도 없고, 주크박스도 없으며(플레이리스트는 훌륭함), 당구대와 전자 다트도 없음. 음료도 그냥 맥주와 몇 개의 캔 제품만 제공하는 수준이고, 칵테일이나 믹스드링크는 없음
    한 달 전에 누군가 실망해서 당구나 다트를 하러 갔는데 없어 실망했다며 1점짜리 비판 리뷰를 남겼음
    분명히 점주도 신고를 했고, 나도 신고했으며, 다른 방문자들도 신고했으리라 생각함
    그래도 한 달이 지났지만 아직도 그 잘못된 정보가 그대로 남아 있음

    • 가장 단순한 해결책은 진짜로 po' boy를 팔고, 주크박스/당구대/전자 다트를 도입하는 것임

    • 구글이 전 세계적으로 “AI가 만든 티가 나는 내용을 절대 보고 싶지 않음” 항목을 체크해서 끌 수 있는 옵션이 있었으면 정말 좋겠다는 생각임
      너무 큰 바람일 수 있다고 생각함

    • 이런 부정확한 정보 때문에 실제로 사람들이 결정하고(가게에 방문하거나), 잘못된 리뷰까지 올리게 되는 상황이 벌어짐

    • 이런 경우 손해배상 소송을 제기할 수 있는지도 궁금함
      아니면 그냥 구글에서 정보를 내리는 게 나은지도 고민임

    • 요즘 자동차 포럼이나 페이스북 그룹 등 온라인에서 사람들을 도우려 할 때마다 "구글에서 본 스크린샷"이라고 보여주는 경우가 있는데, 이게 명백히 AI 요약임
      예를 들어 기능 X가 있다고 detailed하게 설명이 나오지만 실제로 그런 기능은 아예 존재한 적도 없음
      이런 일은 늘 발생함
      특히 자동차 관련 온라인 커뮤니티에서 매우 큰 문제임

  • 이건 단순히 AI 요약이 문제가 아니라 구글의 구조적 문제라고 생각함
    구글은 종종 부정확한 정보를 표시하고, 보통 그걸 고칠 길이 거의 없음
    피드백 폼 등은 대다수 무시됨
    Google Maps에서 똑같은 문제로 몇 년간 잘못된 정보를 바로잡으려 싸워야 했고, 대부분의 사람들은 Google Maps가 진실 그 자체라고 믿음
    실제로 정보가 바뀐 게 내 피드백 덕분인지조차 확신할 수 없음
    구글은 마치 소방호스로 정보를 마구 뿜어주듯이 정보를 공급함(Feed)
    구글은 너무 거대해서 이런 불일치에 별로 신경 쓰지 않고, 오히려 이런 부분이 비즈니스 모델에 영향이 없으니 신경을 안 쓰는 듯함

    • 이건 진짜로 AI 요약의 문제라고 생각함
      처음엔 사용자가 찾는 쿼리에 가장 연관 높은 검색결과만 맨 위에 올렸고, 사용자가 클릭해서 해당 내용이 맞는지 직접 확인하는 구조였음
      이제는 AI 요약이 늘 맨 위에 뜨는데, 그 LLM이 매우 빠르지만 멍청한 모델이라 모든 웹페이지마다 저렴하게 돌릴 수 있는 수준
      이건 명백한 프로덕트 결정이며, 심각하게 잘못된 선택임
      예를 들어 "Suicide Squad"로 검색하면 이런 결과가 나옴

      "suide side squad"는 "Suicide Squad"의 오타로 보임

    • 이 경우 부정확한 정보가 노출된 이유는 AI 요약이 서로 다른 두 사람의 정보를 섞었기 때문임
      기존 검색이었다면 웹페이지들이 각자 한 사람의 정보만 다뤘을 것임
      그래서 오히려 AI 요약에서만 생기는 문제임

    • 구글은 특히 개별 사용자 수준에서 정확도를 우선시할 동기가 별로 없음
      수많은 컨텐츠의 양 때문에 “규모”를 변명 삼아 무시하기도 쉬운 구조임

    • 잘못된 정보가 있으면 해결법이 있긴 함
      바로 Hacker News(HN) 메인에 올리는 것임

    • 예전에 구글에 불만이 있던 최대 이유가 단순히 자바 문서(class명 검색)에서 1.4 버전 문서가 6 버전보다 우선으로 나왔던 수준이었음

  • “Dave Barry가 2016년에 죽었다고 AI가 썼다”는 이 사건이, 앞으로 그의 글이 인덱싱되면 요약에도 변화가 생길지 궁금함
    “Dave Barry는 2016년에 죽었지만, 그는 아직도 그 사실을 부정하고 있음” 같은 AI 요약이 나올 수도 있음

    • 지금 내가 직접 받은 AI 요약은 이러함

      Dave Barry, 유머 작가는 AI 요약에서 한때 ‘사망’했으나 그 후 고쳐짐
      Dave Barry의 Substack에 따르면 AI는 처음에 그가 사망했다고 했다가 다시 살아있다고 바꿨고, 또 다시 사망이라 하고, 끝내 또 살아있다고 표기함
      이 사건은 AI의 정보 신뢰성 부족을 보여줌

    • 심지어 “Dave Barry는 2016년에 사망한 걸로 알려져 있었으나, 그가 살아있음을 밝혀내 논란이 일었다”는 식으로 AI가 쓸 수도 있을 것 같음

  • 사람 이름의 고유성 문제 때문에 이런 오류가 당연히 생기는 부분도 있다고 생각함
    이름 입력 시 “이름이 같은 다른 인물은 누가 있나요?”라는 기본 질문을 항상 띄우는 것도 한 방법일 것 같음
    여러 명의 정보를 섞는 문제 해결까지는 안 되지만, 대부분 문제는 유명인과 같은 이름이 걸려서 발생한다고 봄
    구글은 knowledge graph를 어느 정도 쓰는 것 같은데, LLM이 얼마나 그 graph를 참고하는지 궁금함
    아마도 graph와, 일반 구글 검색 결과 둘 다 참조하고, LLM(아마 Gemini Flash Lite처럼 단순한 모델)이 유명인을 knowledge graph로부터, 검색결과 정보와 잘 구분 못하고 혼합하는 느낌임
    특히 여러 분야에서 유명도가 다른 동명이인들이 있어서 생기는 문제임
    나도 개인용 knowledge graph 앱을 만들며 이름(성, 이름)만으로 entity ID를 쓰는 게 언젠가 문제를 일으킬 수 있다는 걸 느낌
    내 경우엔 개인 정보 정리에 활용할 거라서, 그럭저럭 괜찮을 것 같지만, 이미 이메일 분석에서는 내 다양한 닉네임이 동일 인물로 잘 인지되지 않는 문제가 발생함

  • 이런 “혼동”은 결국 기계가 인간 이름이 유일(싱글톤)이 아니라는 사실을 모른다는 데서 비롯됨
    사회적 운동의 일환으로 내 자녀 전부의 이름을 Google로 지을 예정임(이미 이름 가진 아이들도 포함해서)

  • Dave Barry 정말 최고임
    이건 AI 이전부터 구글에서 흔히 발생하는 고전적 문제임
    이런 일이 바뀔 거라고는 비관적이지만, 그래도 희망은 놓지 않겠음
    그리고 trilobite 화석이 참 귀여움
    책상 위에 진짜 화석도 하나 있는데, 친구가 거기에 안경까지 씌웠음
    이유는 친구 눈에 내가 이미 ‘공룡급 아저씨’라서, 하지만 trilobite는 더 오래된 존재니까

  • 최근에 Dutch Interior라는 밴드가 Meta AI로부터 완전히 근거 없는 허위 비방을 당한 사례를 봤음
    AI가 그 밴드가 백인 우월주의자이자 극우 극단주의자와 연결되어 있다고 만들어냄
    https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3

    • “실제 네덜란드” AI 스캔들이 떠오름
      https://politico.eu/article/…
      2019년에 네덜란드 세무당국에서 자녀 돌봄 수당 사기 적발을 위해 자기학습 AI로 위험 프로파일을 만들었는데, 이것이 수많은 가족 해체, 위탁가정, 파산, 심지어 자살까지 초래함
      2021년에는 네덜란드 데이터 보호국이 세무당국에 275만 유로의 벌금까지 부과했음
      정부가 자기 자신에게 벌금을 내리는 장면, 정말 “짱”인 움직임임

  • 이런 황당한 상황 너무 기발함
    마치 “나는 SF 작가 Greg Egan임, 내 사진은 인터넷상에 없음”이라는 텍스트와 그게 무의미하게 인터넷에 퍼져 있는 현상과 비슷함
    https://www.gregegan.net/images/GregEgan.htm

  • Dave Barry에 대한 일부 요약은 실제로 죽은 다른 Dave Barry(실제로 그 시기에 사망한 동명이인)가 있어서 틀리지 않았다고 생각함
    왜 이 Dave Barry는 자기에 대해 “무슨 일이 있었나요?”란 질문에 답하는 대표성을 더 가져야 하는지 궁금함
    실은 자기에게 아무 일도 일어나지 않았지만, 동명이인에게는 실제로 일이 있었음(사망)

    • 만약 이 정보가 Bostonian Dave Batty 관련 정보나 링크 사이에 섞여 있으면, 맥락이 명료하게 설정됨
      그래서 이 맥락에서 정보가 잘못되었음
      “Dave Barry, 유머 작가 겸 퓰리처상 수상자, 작년 11월 20일 사망…”이나, “Dave Barry(Bostonian)… 11월 20일 사망…” 이런 문장만 봐도, 누구에 대한 정보인지 확실히 보임
      맥락이 문장 바깥(embedding context)으로 가도, 이런 표현에선 주체의 정체성이 중요한 역할임

    • 실제로 구글에서 이름을 검색하면 요약은 Dave Barry(작가)를 가리키는 구조로 맨 위에 올려줌
      참고로 내가 검색해보니, Dave Barry는 살아있다고 표기하되, 근거가 Dave Berry(음악가) 위키피디아 기사였음

    • 이런 버전(동명이인에 대한 사망정보 포함)도 다른 AI 요약들과 번갈아가며 노출될 수 있음
      최적은 위키피디아처럼 명확히 인물별 구분(disambiguate)해주는 것임

    • 혹시 다른 Dave Barry도 실제로는 살아있는 게 아닐지 의문이 생김

    • “Dave Barry에게 무슨 일이 있었나요?” 섹션에서 운동가(activist) Dave Barry에 대한 정보가 코미디언 Dave Barry 하위섹션에 들어가 있었음
      일반 사람이 보면 당연히 코미디언 맥락으로 받아들여짐
      그래서 이 Dave Barry(유머작가)가 “나를 대상으로 한 질문”이라 주장할 자격이 있음
      이건 위키피디아에서 Dave Barry(코미디언) 페이지 한가운데 아무 맥락 없이 다른 Dave Barry의 사망 소식이 나오는 꼴임

답변달기