▲

Google AI Overview가 나에 대해 거짓된 이야기를 만들어냈음

 (bsky.app)
14P by GN⁺ 22시간전 | ★ favorite | 댓글 4개
  • Benn Jordan은 최근 몇몇 메시지와 태그를 통해 이스라엘 관련 입장을 명확히 해달라는 요청을 계속 받음
  • 이는 자신이 집단학살에 반대하고 팔레스타인 국가 설립을 지지한다는 입장을 줄곧 공개적으로 밝혀 왔는데, 이상한 메시지가 옴
  • 확인 결과, Google AI Overview가 사실이 아닌 elaborate story(정교하면서도 거짓된 이야기) 를 벤 조던의 이름으로 만들어 배포함
    • 구글 AI Overview 가 Benn Jordan에 대해서 정리한 내용

      일렉트로닉 뮤지션이자 과학 유튜버인 벤 조던(Benn Jordan)이 최근 이스라엘-팔레스타인 분쟁에 개입하여 온라인에서 상당한 논란과 논쟁을 불러일으켰는데, 그가 이스라엘 여행 경험을 공유하며 가자 국경 근처 키부츠 주민들을 인터뷰한 "I Was Wrong About Israel: What I Learned on the Ground"라는 제목의 유튜브 영상을 업로드 했다고 이야기 함. 이 영상에는 가자 국경 키부츠 주민들과의 인터뷰를 통해 분쟁을 직접 이해하는 내용이 담겨 있으며, 이 영상이 공개되자 소셜 미디어 전반에 걸쳐 논쟁과 논평이 촉발되었다고..

  • 하지만 벤 조던은 이스라엘에 가본 적이 전혀 없음. 그런 영상을 올린 적도 없으며, 이는 군사 영상을 올리는 Ryan McBeth 라는 사람과 착각한 것
  • 해당 AI 결과로 인해 본인의 실제 태도와 상반된 오해가 확산되고, 결과적으로 사용자에게 잘못된 여론이나 사회적 압박이 가해짐
  • 벤 조던은 변호사와 소송 가능한지 의논중
▲
xguru 21시간전  [-]

와 이 얘긴 너무 충격적이네요.
특정 이슈로 이렇게 되는 상황이 나에게도 온다면 어떤일이 발생할지 끔찍합니다.

답변달기
▲
monotyp3 13시간전  [-]

AI Overview 신뢰성 낮은 건 유명한데 이건 좀 심각하네요

답변달기
▲
reagea0 17시간전  [-]

이건 소송감인데요....?

답변달기
▲
GN⁺ 22시간전  [-]
Hacker News 의견

  • AI 환각 현상과 정확성 부족이 앞으로 우리의 삶에 얼마나 큰 영향을 미칠지에 대한 대표적인 사례라고 생각함, 이 주제는 매우 미묘하고 중요한데도 헤드라인으로만 이야기되는 현실이 두렵게 느껴짐, 특히 대중이 이 도구가 어떻게 작동하는지 제대로 이해하지 못한다면 더 큰 문제임, 과거에는 인간이라도 최소한 정보를 훑어보기라도 했지만, AI라면 그조차 기대하기 힘듦

    • 여러 번 AI 대화 결과나 답변을 사람들이 GitHub 이슈, 이메일 등에 복사해서 쓰는 것을 보았음, 그리고 점점 더 많은 사람들이 이런 모델의 결과를 무비판적으로 신뢰하는 경향이 느껴짐, 구글 검색 결과 맨 위에 뜨는 '요약'도 마찬가지임, 내가 읽어본 거의 모든 요약에는 하나 이상의 치명적인 오류가 들어 있는데, 내가 잘 모르는 주제였다면 그냥 그대로 믿을 수도 있겠다는 생각이 듦, 전체적으로 신뢰하되 검증하라는 말이 점점 더 중요해졌다고 생각하지만, 사실상 이젠 신뢰도 제한해야 한다고 봄

    • AI 모델을 만들기 위해 저작권이 있는 콘텐츠를 대량으로 수집하는 것이 변형적 저작물이라는 논리가 정당화의 근거로 사용됨, 만약 이 주장이 맞다면, 구글 같은 회사가 이런 결과에 대해 책임을 져야 한다고 생각함, 변형적 작품이면 누군가에게 책임을 미룰 수 없음, 이런 기업들이 양쪽 다 취하려는 것은 허용되어선 안 됨, 앞으로 이 논의가 어떻게 흘러갈지 궁금함

    • 이스라엘과 하마스 관련 입장에 따라 사람을 평가하는 걸 멈추고, 그런 사람들과 어울리지 않으면 괜찮다고 생각함, 누군가 내 의견을 잘못 말해도 별 상관없음, 그렇게 하려면 bluesky나 HN처럼 이런 정치적인 논의가 많은 곳은 끊어야겠지만, 이미 정당한 의견조차 매우 편향되어 잘못 전달되고 있고, AI는 동전 던지기 수준임, 만약 누군가 이 주제에 대해 잘 알고 있다고 설득하고 싶으면 들어볼 용의는 있지만, 여기서 그럴 필요는 없다고 생각함

    • Google이 이런 결과에 대해 책임을 져야 한다고 생각함, 이런 내용을 발행하고 호스팅하는 주체니까 모든 명예훼손 내용에 대해 책임져야 함

    • 이 이야기는 아마 가짜 영상 사건을 덮을 만큼 커진 뒤, AI가 상위 검색 결과를 기반으로 자동으로 이 가짜 영상 논란을 요약해 버릴 것 같음

  • "benn jordan isreal"을 검색해보니, 첫 번째 결과는 전혀 다른 크리에이터의 동일 제목, 동일 날짜의 영상이 나옴, 영상에는 "benn" 언급이 없고 "jordan"이라는 나라가 조금 언급될 뿐임, 아마도 이것만으로 Google이 뭔가 연관성을 환각한 듯, 매우 우려스러움
    https://www.youtube.com/watch?v=qgUzVZiint0

    • 이게 거의 확실히 실제로 벌어진 일이라고 생각함, Google의 AI 답변은 마법이 아니라 단지 검색 결과들을 요약하는 것임, 이번 경우처럼 "Israel"과 "Jordan"이 함께 언급된 영상을 끌어오면서 완전히 반대 입장의 내용을 제공함, UI에선 많은 맥락을 숨기고 있기 때문에 어디서 틀린 건지 알아내기가 어렵고, AI 모드에서는 여러 번 검색을 실행해서 100개 이상의 사이트에서 스니펫을 집계한 후 요약을 뽑음

    • 이 논의에서 흥미로운 점은, 일반적인 주제에 대한 검색 결과가 LLM 훈련이나 정보 검색의 기반으로 사용되는 것이 일반적인 현상인지 궁금해진다는 점임

    • AI 번역이 실제로 어떻게 작동하는지 알게 된다면 더 놀랄 수 있음, 여러 언어를 미국식 영어로 비트는 방식임

  • 사람들은 주로 익숙하지 않은 것을 Google에 검색하고, AI Overview가 생성한 내용이 제대로 모르는 사람에겐 그럴듯해 보임, 하지만 실제로 많이 틀림, 이번처럼 큰 문제뿐 아니라, 예전에 피자 위에 접착제를 바르라고 추천했던 사례도 있었음, 자신이 잘 아는 주제 몇 개만 구글에서 검색해보며 전체 요약을 확인해보면 상당히 자주 틀린다는 걸 알 수 있음, 내 경험상 5개 중 1개 정도만 큰 오류가 없었음, "데이터의 복수는 일화가 아님"이란 말이 있지만, 난 너무 자주 틀려서 차단기 확장 프로그램을 설치함

    • 나는 위키피디아나 블로그처럼 이미 정적이고 잘 정리된 콘텐츠를 대상으로 할 때는 꽤 정확하다는 걸 발견함, 반면 동적인 정보(특히 SNS 등)에선 관계를 연결하면서 잘못된 결과를 내기 쉬움, 대체로 사람들이 AI Overview에 너무 큰 기대를 하고 있음. Google AI overview는 Claude, Grok, ChatGPT 등의 웹검색 기능과 비교해도 절대 우위가 아님, 오히려 여러 측면에서 뒤처짐, 정보 탐색 독점이 OpenAI 등에게 위협을 받으니 억지로 넣은 기능이라고 생각함

    • AI Overview의 정확도가 예전보다 더 좋아진 덕에 오히려 더 문제라고 느껴짐, 예전엔 충분히 자주, 또 명백하게 틀려서 그냥 무시하기 쉬웠음, 지금은 꽤 자주 맞고 언제나 그럴듯하니, 더 의존하고 싶은 유혹이 생겨버림

    • "그럴듯한" AI 허위정보에 대한 최고의 설명을 패러프레이즈해서 소개해봄: AI 요약은 일종의 범용 팟캐스트나 유튜브 에세이스트가 기술적 혹은 매니악한 주제를 다룰 때랑 비슷함 — 외형과 자신감이 너무나 번지르르해서 거의 사실처럼 느껴짐, 근데 당신이 그 주제 전문가라면 알고 있는 게 모조리 잘못되거나 최소한 부실하다는 걸 알아챔, 이런 과신이 제대로 된 지식이 없는 일반인에겐 오히려 '정확성 신호'를 더 증폭시키는 문제임, 그리고 우리 대부분은 90%의 주제에 대해 깊이 있는 지식을 갖추지 못했으니 이 문제가 심각해짐

  • AI 환각 사례에서, 2025년 8월 18일 Benn Jordan이 이스라엘 여행 후기를 영상으로 올렸다는 내용이 있음, 근데 이건 최근 Ryan McBeth의 영상 제목과 똑같음
    https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
    그냥 영상 출처를 잘못 연결해 버리는 게 무서울 정도임

  • 원래 두 명의 Benn Jordan이 있어서 AI가 헷갈린 줄 알았는데, 실제로 그 영상을 올린 사람은 Ryan McBeth임, 이런 착오가 어떻게 일어나는지 궁금함

    • 구글이 검색 페이지에서 쓰는 모델이 비용 절감 때문에 덜 똑똑한 것일 수 있음, 플래그십 상품인 검색에서 이런 접근을 택하는 게 좋은 전략인지는 의문임, 차라리 검색에서 AI를 아예 빼는 게 낫다고 생각함

    • 아마 영상에서 "Jordan"이란 단어가 언급되는 부분이 있는데, 그게 이스라엘 근처 나라라서 연관성이 틀리게 만들어졌을 것 같음

    • 알고 보니 Ryan의 영상이 유튜브에서 검색 시 Benn의 영상보다 위에 나옴, AI는 유튜브 검색 결과를 채널명까지 확인하지 않고 그냥 사실로 받아들인 거라고 생각함

  • 이건 Google의 책임이 아님, 화면 아래 6pt 텍스트로 "AI 답변에는 오류가 포함될 수 있습니다. 자세히 알아보기"라는 안내가 명확히 적혀 있음

    • 이건 Google의 책임임, 왜냐하면 명예훼손적인 내용을 만들고 직접 배포하고 있기 때문임, 만약 누가 내 이름을 검색했는데, 첫 줄에 내가 특정 도시에서 성범죄자라고 나온다면 어떻게 느낄지 생각해봤으면 좋겠음, 누가 한 말 인용도 아니고, 그냥 아무 근거 없는 환각임, 밑에 아주 작은 사이즈로 틀릴 수 있다는 경고가 있어도 "그거면 괜찮다"라고 생각할 사람은 거의 없을 것임

    • 안내문 글씨 크기가 6pt라는 말이 있는데, 실제로 요소를 확인해 보니 12px(9pt)였음, 참고로 일반 본문(헤더 제외) 글씨는 18px임, 너무 작아서 눈에 안 띄긴 하지만 완전히 안 보이는 수준은 아님

  • 몇 주 전, 내 주변 소상공인이 자기 회사가 전혀 관련 없는 다른 이름 비슷한 업체 정보 때문에, Google의 AI가 사기 업체라고 사용자에게 잘못 안내하는 걸 발견함, 우리는 오히려 AI가 고객의 명예를 실추시키지 않도록 하는 게 핵심 서비스가 되어버림

  • "AI 답변에는 오류가 포함될 수 있습니다"에 대해, 사람들이 점점 광고 무시하듯이 AI 요약도 자동으로 필터링하게 학습되는 게 오히려 더 낫다고 생각함
    https://news.ycombinator.com/item?id=44142113

  • 이제 법이 나서서 본보기를 보여주지 않는 한, 앞으로 AI로 인해 언젠가는 진짜 대형 참사가 일어날 것임

    • 어떤 근거로 법이 나서야 하는지 질문함, 보통 틀린 것이 벌을 받는 일은 아님, 명예훼손이 의도되어야 하지만 이 경우엔 명확히 의도된 게 아님, 대부분의 AI에는 오류와 환각에 대한 안내문도 있음, 프랑스 등 일부 국가에서는 당사자가 정정 요청을 할 권리가 있는데, 기사로 보면 Gemini가 이미 이 오류를 인지하고 수정한 것 같음, 만약 AI 환각을 불법으로 하면 LLM 자체가 불법이 될 수 있음, 그 대신 허위정보 신고와 필터 기능을 의무화하는 방향은 기술적으로 가능함

    • "본보기를 보이라"는 의미가 정확히 무엇인지 되묻고 싶음, AI 오염 정화엔 나도 동의하지만, 소송 중심 사회는 반대임, 법적 조치가 실질적으론 금방 남용될 수도 있다고 봄

  • 기술적 관점에서 접근하며, Google의 짧은 스니펫 기반 결과로 요약이 오작동하게 되는 것을 보여주는 연구가 있음
    Google이 AI 요약을 20만~50만 쿼리/초까지 지원해야 함, 환각을 막을 만큼 좋은 모델을 쓰기엔 너무 비싸서 결국 빠르고 저렴한 저성능 모델을 사용함, 요약을 제공하면 광고 클릭률도 떨어짐, 이런 요소를 다 고려하면 Google이 요약 방식을 채택한 것은 아주 나쁜 결정이라고 생각함
    https://maxirwin.com/articles/interleaving-rag/

    • AI overview summary가 정말로 스니펫 기반인지 묻고 싶음, 내 경험으로는 그렇지 않은 것 같음
답변달기