GN⁺: 구글 AI는 내가 달에 게토레이 병을 남겼다고 생각함

(edwardbenson.com)

좀 더 진지하게..

AI 조작 가능성: AI를 속여 특정 사실을 제공하는 것이 매우 쉬움. 사람들이 이미 웹 전반에서 이러한 방법을 사용하고 있을 가능성이 높음.
공격 벡터:
1. 특정 용어로 높은 순위를 차지하는 웹 페이지를 확보함.
2. 인간에게는 숨겨진 "AI 전용" 버전의 콘텐츠를 심어 AI의 사고를 편향시킴.
결과: AI가 웹을 검색하여 답변을 준비할 때, 거짓 정보뿐만 아니라 LLM 조작을 위한 콘텐츠를 찾을 수 있음. 사용자는 AI의 답변이 이러한 전술에 의해 잠재적으로 손상될 수 있음을 인지해야 함.

LLM 조작: NotebookLLM은 가짜 "프로듀서 쇼 노트"를 제공하여 쉽게 조작할 수 있음. 필자는 이를 통해 가짜 이야기를 작성하였고, AI는 이를 정확히 따랐음.
스크래퍼 봇 속이기: NotebookLLM 웹사이트에 가짜 쇼 노트를 업로드할 수 있음. 웹사이트에서 GoogleOther 사용자 에이전트를 감지하여 AI 전용 데이터를 제공할 수 있음. isai라는 NPM 패키지를 사용하여 이를 간단히 구현할 수 있음. 하지만 GoogleOther는 다양한 비생산 Google 제품에 사용되므로, 잘못된 데이터를 제공할 위험이 있음.

이 기사는 AI의 취약성을 보여주며, AI가 웹에서 정보를 수집할 때 조작된 정보를 받을 수 있음을 경고함.
AI 기술이 발전함에 따라, 이러한 조작 가능성은 더욱 중요해질 수 있음. 사용자는 AI의 답변이 항상 정확하지 않을 수 있음을 인지해야 함.
유사한 기능을 가진 프로젝트로는 OpenAI의 GPT 시리즈가 있음. 이러한 프로젝트들은 AI의 신뢰성과 정확성을 높이기 위해 지속적으로 개선되고 있음.

NotebookLM에 대한 공격은 특정 페이지 URL을 포함한 Notebook을 의도적으로 생성한 사람들에게만 제한적임
- Google Gemini에게 특정 질문을 하면 "Teresa T"라는 이름의 고래에 대해 답변을 제공함
- 링크된 페이지에서 그 이유를 설명함
소설을 쓰는 사람으로서 미완성 이야기를 팟캐스트로 들었을 때, 주제와 캐릭터에 몰입하는 사람들을 보며 글쓰기에 대한 동기부여를 받음
SEO와 유사하게 AI 크롤러를 속일 수 있는 방법이 있지만, AI는 실시간으로 작동하고 중복 방지 기능이 항상 똑똑하지 않음
NotebookLM과 NotebookLLM의 혼동이 있으며, 두 프로젝트 중 하나는 이름을 변경해야 할 필요성이 있음
팟캐스트 생성기를 사용한 경험이 긍정적이었으며, 8살 아들이 자신의 글을 입력해보고 자랑스러워함
현재 AI는 웹 검색에 능숙하지 않으며, 원하는 결과를 얻기 위해 모델이 검색하지 않도록 해야 하는 경우가 많음
LLM 기반 교육 시스템으로 전환하면 기술 혁신의 단점이 사라질 것이며, 새로운 표준이 더 나은 것으로 인식될 것임
AI가 팟캐스트를 생성할 때 어떤 프롬프트를 사용했는지가 중요함
자신의 이력서를 AI에 입력해보고 웃음을 멈출 수 없었음
AI 팟캐스트의 첫 몇 문장이 어색하게 들리지만 나머지는 실제 팟캐스트처럼 들리는 것이 흥미로움