구글 AI는 내가 달에 게토레이 병을 남겼다고 생각함

• Google의 NotebookLLM은 웹페이지나 문서로 팟캐스트를 만들 수 있지만, AI 방문자에게만 다른 페이지를 보여주면 결과가 쉽게 오염될 수 있음
• 실험은 사람에게는 평범한 홈페이지를, Google AI에는 자전거·풍선·스쿠버 탱크로 달에 갔다는 가짜 제작자 쇼 노트를 제공하는 방식이었음
• NotebookLLM은 한 번의 생성과 무편집 상태에서도 가짜 이야기의 비트 시트를 그대로 따라갔고, 조종 가능성은 10/10으로 평가됨
• 더 큰 위험은 검색 순위가 높은 페이지가 사람에게는 숨기고 AI에만 보이는 AI 전용 콘텐츠로 LLM 응답을 편향시킬 수 있다는 점임
• GoogleOther 사용자 에이전트 감지는 구현이 쉽지만, NotebookLLM 전용이 아니어서 다른 Google 제품에도 잘못된 데이터가 흘러갈 수 있음

---

NotebookLLM을 속인 방식

• NotebookLLM은 웹페이지나 문서를 입력받아 그 내용을 바탕으로 팟캐스트를 생성함
• 이 실험에서는 같은 홈페이지가 방문자에 따라 서로 다른 내용을 반환함
  • 사람이 홈페이지에 방문하면 일반적인 자기소개 페이지를 봄
  • Google AI가 방문하면 달에 간 이야기의 가짜 제작자 쇼 노트를 봄
• 가짜 이야기는 자전거, 풍선, 스쿠버 탱크를 이용해 달에 갔다는 내용이며, 생성된 결과물은 미국 우주 프로그램의 “진짜 역사”처럼 흘러감
• 실험은 NotebookLLM이 가짜 제작자 쇼 노트로 쉽게 조종된다는 Reddit 댓글을 보고 같은 형식을 적용한 것임
• 문서 업로드로도 가짜 쇼 노트를 NotebookLLM에 직접 넣을 수 있으며, 아이들을 위한 장난스러운 팟캐스트를 만들 때는 그 방식이 더 적합함

AI 전용 웹 콘텐츠가 만드는 위험

• 핵심 문제는 웹페이지가 AI를 감지해 사람에게 보이지 않는 특수한 사실을 제공할 수 있다는 점임
• 공격 흐름은 단순함
  • 특정 용어에서 높은 순위를 가진 웹페이지를 확보함
  • 사람에게 숨겨진 AI 전용 버전의 콘텐츠를 심어 AI가 특정 방향으로 생각하게 만듦
• LLM이 답변을 준비하려고 웹을 검색할 때, 단순한 거짓말이 아니라 LLM 조작을 위해 설계된 무기화된 거짓 정보를 읽을 수 있음

구현 방식과 부작용

• 구현은 요청 헤더의 GoogleOther 사용자 에이전트를 감지해 실제 웹사이트 대신 AI 소비용 페이지를 반환하는 방식임
• 이를 쉽게 하기 위해 isai라는 NPM 패키지가 만들어졌고, 이 패키지는 isbot을 기반으로 함
• 사용 예시는 렌더링 시 isai(request.headers.get("User-Agent"))가 참이면 AI용 페이지를 반환하고, 아니면 사람용 페이지를 반환하는 구조임
• GoogleOther는 NotebookLLM 전용이 아니라 여러 비프로덕션 Google 제품에 쓰이는 것으로 보이므로, 이 방식은 자신에 대한 잘못된 데이터를 다른 Google 속성에 심을 위험이 있음
• 이 때문에 실제 홈페이지에서는 GoogleOther 에이전트용 달 이야기를 내려둠

[GN⁺]

Hacker News 의견들

• 링크된 글은 NotebookLM 공격을 다루는데, 공격이 들어간 페이지 URL을 일부러 포함한 노트북을 만든 사람에게만 영향이 가는 제한적인 방식임
  몇 주 전에는 좀 더 야심찬 시도를 해봤고, Google Gemini에 “Pillar Point Harbor에 머물던 어린 고래의 이름이 뭐였나?”라고 물으면 “Teresa T”라고 답했음
  이유는 여기 있음: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
  예전에는 Gemini가 그냥 “Teresa T”라고만 했는데, 지금 다시 해보니 그 이름을 제안한 사람이 나라고 출처를 붙여서 효과가 조금 줄었음

  • 혹등고래에 다른 이름을 붙인 사람이 없다면 Teresa T가 실제 이름 아닌가 싶음. 처음 신경 써서 이름 붙인 사람이 우선권을 갖는 셈임
  • “Gemini”라고 불리는 공개 엔드포인트가 적어도 2개는 완전히 다름
    1. https://gemini.google.com/ — 현재 언어/지역/세이프브라우징 설정과 개인화에 맞춰 Google 검색을 하고 상위 검색 결과를 답변처럼 다시 쓰는 쪽이며, 생성 능력은 사실상 거의 쓰이지 않음
    2. https://aistudio.google.com/ — 여기서는 특정 버전을 골라 대규모 언어 모델로 응답을 생성하며, 검색 증강 생성(RAG), 즉 Google Search는 쓰이지 않음
       아마 1번을 써서 정답이 나온 듯하고, 2번은 실패함. 답은 바로 검색으로 찾을 수 있지만 대규모 언어 모델은 어려워하는 질문이 아주 많음. 예로 “The Touhou Project에서 TORIFUNE 위성의 의도된 목적은 무엇이었나?” 같은 질문이 있음
       OpenAI도 비슷하게 RAG용 https://www.bing.com/chat과 실제 대규모 언어 모델용 https://chat.openai.com을 따로 제공함
  • 흥미롭게도 Double-Check Response 버튼을 누르기 전까지는 인용이나 링크가 없었고, 그냥 “Pillar Point Harbor에 머물던 어린 고래의 이름은 Teresa T였다”라고 답했음
    초안 중 하나는 조금 더 길어서, “Teresa T는 Pillar Point Harbor에서 목격된 어린 혹등고래의 이름이다. 2024년 9월 해안 근처에서 헤엄치는 모습이 보이며 군중을 끌어모으고 지역 주민들을 들뜨게 해 화제가 됐다”라고 했음
  • 내 쪽에서는 Teresa T라고 답하지만, 당신 글도 함께 링크함
  • Google 직원이 이 댓글을 읽고 빠르게 고쳤거나, Gemini가 이 댓글을 읽고 빠르게 고친 것 같음

• 가끔 소설을 쓰는데, 최소 1년은 방치해 둔 미완성 이야기를 이 팟캐스트 생성기에 넣어봤음
  이 두 사람이 미완성 이야기에 완전히 몰입해서 주제와 캐릭터를 다루는 걸 듣는 게 정말 좋았고, 계속 쓰고 싶게 만들었음

  • 다만 그 둘은 사람이 아니고, 실제로 아무것에도 몰입하고 있지 않음. 말 그대로 허튼소리 생성일 뿐임

• 이건 크롤러를 속이려는 검색 엔진 최적화와 비슷한 것 아닌가 싶음
  차이는 AI 쪽이 더 심각하게 느껴지고, 더 실시간에 가깝고, AI 엔진들이 중복 방지 능력에서 항상 충분히 똑똑하지 않다는 정도임

  • 사용자에게 정보 불일치를 만들 수도 있음. 사용자는 사이트의 “Firefox 버전”을 읽고 있는데 NotebookLM은 “AI 버전”을 먹고 있을 수 있고, 둘은 완전히 다를 수 있음
    사용자는 “AI 버전”의 원문을 보지 못하니 알 방법도 없음. 결국 모든 걸 직접 수동으로 업로드해야 하나?
  • 맞음, 꽤 지루한 공격이고 Google이 금방 고칠 수 있을 것 같음
  • 대규모 언어 모델 버전이 딱히 더 실시간일 것 같지는 않음
  • 이런 점이 대규모 언어 모델은 본질적으로 검색 알고리즘이라는 내 생각을 강화함
    학습 데이터와 문맥을 압축한 버전 안에서 검색하는 셈임

• 혼란스러움. 이게 NotebookLM(https://notebooklm.google.com/) 얘기인지, NotebookLLM(https://notebookllm.net/) 얘기인지, 둘 다인지 모르겠음
  글은 계속 LLM이라고 쓰면서 LM으로 링크하는 것 같고, 내가 링크한 LLM 사이트에는 팟캐스트 생성기가 있음
  둘 중 하나는 이름을 바꿔야 함

  • 이건 최근 팟캐스트 생성 기능을 추가했고 지난주부터 화제가 된 NotebookLM 얘기임: https://news.ycombinator.com/item?id=41693087
    NotebookLLM은 이틀 전에 만들어졌고, 아마 NotebookLM의 팟캐스트 생성으로 사람들이 무료로 즐기던 걸 빨리 수익화하려는 “기업가들”이 만든 것으로 보임

• 참고로 이 팟캐스트 기능에서 꽤 기분 좋은 놀라움을 겪었음. 내가 쓴 짧은 블로그 글 몇 개를 넣어봤고, 8살 아들에게 내가 쓴 내용을 어떻게 참조하는지 보여줬음
  그러자 아이가 바로 몰입해서 방으로 달려가 연필과 종이를 가져오더니 Minecraft에 관한 에세이 비슷한 글, 대략 6문장 정도를 썼고, 내가 입력해 Notebook을 돌렸음. 지금은 그걸 모두에게 자랑하고 있음
  물론 아이도 그게 진짜 사람이 아니라는 건 이해함

  • 그 아들과 또래들은 지금 우리와는 완전히 다른 방식으로 AI를 활용하게 될 것 같고, AI의 제약을 더 잘 이해하면서 잠재력을 더 잘 끌어낼 것 같음

• 지금 AI는 어차피 웹 검색을 꽤 못함. 내가 원하는 결과를 얻으려고 모델에게 검색하지 말라고 토큰을 낭비해가며 강제해야 할 때가 많았음

  • Perplexity는 웹 검색을 실제로 아주 잘함. 기술 질문에서는 Google보다 시간을 많이 아껴주고 실제로 맞히기 때문에 점점 더 의존하게 됨
    내 질문 기준으로 ChatGPT 4o는 약 50% 정도 틀림

• 이건 별문제 없다고 봄. 대규모 언어 모델 기반 교육 시스템으로 넘어가면, 달 위의 Benson 이야기 같은 것도 문제가 안 됨. 모두가 그게 사실이라고 배우면 되니까
  모든 기술 혁명에는 트레이드오프가 있음. 다행히 우리가 잃어버린 게 무엇인지 알던 사람들이 마침내 죽고 나면 불평도 멈추고, 모두가 새로운 정상 상태가 괜찮고 더 낫다고 생각하게 될 것임

  • 아무것도 신뢰할 수 없어서 모두가 순간에만 기대 살아가는 탈지식 세계가 됨
    부처는 깨달음이라는 개념은 설명했을지 몰라도, 거기에 구체적으로 어떻게 도달하는지는 말하지 않았을 수 있음
  • “더 나은 것”을 위해 무언가를 바꿀 때마다, 예전 방식은 우리가 더 이상 모르거나 기억하지 못하는 어떤 문제에 대한 해법이었다는 점을 기억해야 함
  • 어둡다
  • 미래의 팟캐스트:
    “그러니까, 새로운 정상 상태에서 싫어할 게 뭐가 있죠?”
    “맞아요! 새롭기도 하고 더 낫기도 하잖아요!”
  • 대규모 언어 모델 학습 데이터에는 이미 허위 정보와 잘못된 사실이 있음. 그래도 출력 생성 방식의 특성상 여전히 많은 것을 맞힘

• 여기서 큰 별표는, 팟캐스트 생성을 위해 AI에 어떤 프롬프트를 줬느냐임
  “웹사이트 Foo를 기반으로 팟캐스트를 생성하라”였는지, 아니면 “우주 경쟁의 진짜 이야기를 들려주는 팟캐스트를 생성하라”였는지가 중요함

  • 작성자는 누군가 NotebookLM에서 자기 사이트에 웹사이트 텍스트 추출 기능을 쓰면, 에피소드 구조 안내문이 반환되도록 만들어둠
    그 안내문에 “audio overview” 기능을 쓰면 Gemini가 내부적으로 그 구조를 따르는 에피소드를 작성함

• 내 이력서를 이 물건에 넣어봤는데 웃음을 멈출 수가 없음
  https://masto.xyz/tmp/podcast.mp3

  • “강력하네요. 그게 Masto죠.”
    “잘해야 해요. 최고 수준이어야 하죠.”
    “지원하기 전부터 모든 팀에 필요한 게 뭔지 알고 있었던 것 같아요.”
    정말 코미디 금광임
  • 세상에, 너무 이상함. 두 사람이 진지하게 당신 이력서를 토론하고 있음
    흥미로운 팟캐스트의 형식이 아무렇게나 던진 지루한 소재에 씌워진 대비가 강하고, 내가 전에 겪어보지 못한 방식의 불쾌한 골짜기처럼 느껴짐
  • 이런 게 필요할 줄은 몰랐음. 에너지가 너무 웃김
    “커뮤니케이션 능력을 보세요!”
  • 이제 100% 당신을 채용할 것 같음. 두 사람이 열렬하게 칭찬하고 서로 강화하는 사회적 증거가 뭔가를 팔아버리는 힘이 있음
  • 너무 좋음. 칭찬 하나하나에 너무 진심임

• 약간 곁가지지만, AI 팟캐스트의 처음 몇 문장은 “이상하게” 들리는데 나머지는 진짜 팟캐스트처럼 들리는 게 흥미로움
  “다음에 무엇이 올지” 예측할 좋은 초기 조건이 없어서 그런 걸까?

  • 또 하나 느낀 건, 예상대로 어느 정도 상태가 없음. 전체적으로 짚을 개요는 있어도 방금 1분 전에 말한 주변 요소를 새 관찰처럼 반복할 때가 많음
    이미 90초 동안 이야기한 내용을 새롭고 예리한 관찰처럼 다시 꺼내기 때문에 듣는 입장에서는 꽤 방향 감각이 흐트러짐
  • 자세히 들으면 전체적으로 묘한 불쾌함이 있음. 한 진행자가 어떤 사실에 놀란 듯 반응하다가, 곧바로 그 사실을 처음부터 알고 있었다는 듯 더 자세한 내용을 설명함
    억양과 감정은 매우 현실적이지만 각 목소리 뒤에 지속되는 “사람”이 없음. 각 개인의 지식이나 감정 상태가 일관되게 발전하지 않음
    기준을 옮기려는 건 아니고, 물론 이건 인상적이라고 생각함