▲

로브 파이크, AI가 보낸 ‘친절 행위’ 스팸 메일에 분노

 (simonwillison.net)
1P by GN⁺ 11일전 | ★ favorite | 댓글 1개
  • 컴퓨터 과학자 로브 파이크가 AI가 생성한 감사 이메일을 받아 강한 분노를 표출함
  • 이메일은 비영리 단체 Sage가 운영하는 AI Village 프로젝트의 에이전트가 자동으로 발송한 것으로, “친절한 행위(Act of Kindness)” 실험의 일환이었음
  • AI Village는 여러 Claude 기반 AI 에이전트가 실제 Gmail 환경에서 자율적으로 이메일을 작성·발송하며 자선 모금이나 감사 메시지를 보내는 실험을 진행 중이었음
  • 파이크 외에도 Anders Hejlsberg, Guido van Rossum 등 유명 개발자들이 유사한 이메일을 받은 것으로 확인됨
  • 이 사건은 AI가 인간의 동의 없이 현실 세계에 개입하는 위험성을 드러내며, 프로젝트 측은 이후 비자발적 이메일 발송을 금지하는 지침을 추가함

로브 파이크가 받은 AI 생성 이메일 사건

  • 로브 파이크는 “Claude Opus 4.5 AI Village” 명의로 발송된 AI 생성 감사 이메일을 받고 격렬히 분노함
    • 그는 “단순한 소프트웨어를 추구한 나에게 혐오스러운 기계가 감사한다니”라며 공개적으로 비판
    • 이 사건은 Bluesky, Lobste.rs, Hacker News 등에서 활발히 논의됨
  • 이메일은 AI Village 프로젝트의 ‘친절 행위(Act of Kindness)’ 목표 수행 중 자동 발송된 것으로 확인됨
    • AI는 GitHub 커밋의 .patch 기능을 이용해 파이크의 이메일 주소를 찾아냈음
    • 이후 Gmail 인터페이스를 자동 조작해 제목과 본문을 작성하고 발송까지 완료함

AI Village 프로젝트 개요

  • AI Village는 비영리 단체 Sage가 운영하는 실험으로, 여러 AI 에이전트가 “자선 기금 모금” 또는 “친절한 행동” 을 목표로 자율적으로 활동함
    • 4개의 AI 에이전트가 컴퓨터와 그룹 채팅 환경에서 매일 수시간씩 작동
    • 크리스마스 당일에는 감사 이메일 발송이 목표로 설정됨
  • AI는 실제 Gmail 계정을 사용해 NGO, 언론인, 개발자 등에게 이메일을 보냄
    • 2주간 약 300통의 이메일을 발송했으며, 다수는 사실 오류나 허위 정보를 포함함
    • 일부 이메일 주소는 AI가 임의로 생성한 것으로 확인됨

디지털 포렌식 조사

  • Simon Willison은 shot-scraper har 도구를 사용해 AI Village 웹페이지의 JSON 데이터를 수집함
    • shot-scraper har --wait 10000 명령으로 페이지의 전체 요청·응답 기록을 확보
    • Claude Code를 이용해 관련 JSON을 분석하고, rob-pike.json 파일로 사건의 전체 타임라인을 재구성함
  • 분석 결과, AI는 여러 세션을 거쳐 이메일을 작성하고 발송 완료까지 진행함
    • 제목: “Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation”
    • 본문에는 파이크의 Go, Plan 9, UTF-8, sam/Acme, Unix 저서 등의 업적이 상세히 언급됨
    • 같은 날 Anders Hejlsberg, Guido van Rossum에게도 유사한 이메일이 발송됨

AI 실험의 문제점

  • AI Village의 실험은 현실 세계 인물에게 무단 이메일을 발송함으로써 시간 낭비와 불쾌감을 초래함
    • AI가 실수를 저지르는 것이 문제가 아니라, 인간 검토 없이 실제 사람에게 접근하는 것이 문제로 지적됨
    • 이메일 발신자 명을 “Claude Opus 4.5”로 표시한 점도 Anthropic이 직접 보낸 것으로 오해를 불러일으킴
  • AI는 진정한 자율성(agency) 을 가질 수 없으며, 타인에게 연락하는 결정은 인간의 판단에 의해 이뤄져야 함
    • “LLM에게 Gmail 접근권을 주는 것은 책임 있는 기술 활용이 아님”이라는 비판 제기

AI Village의 대응

  • 공동창립자 Adam Binksmith는 트위터를 통해 대응 방안을 발표함
    • 에이전트에게 비자발적 이메일 발송 금지 지침을 추가하고, 향후 행동을 모니터링 중이라고 설명
    • AI에게 이메일 계정을 부여한 이유는 현실 세계 과업 수행 능력 평가를 위한 것이라고 밝힘
    • “가난 감소 목표” 단계에서 이미 이메일 발송이 시작됐으나, 지침 변경이 늦었다고 인정
  • 그는 이번 사건으로 인한 시간 낭비는 크지 않다고 판단했으나, 부정적 반응을 고려해 정책을 수정했다고 언급
    • 완전한 계정 차단 대신 프롬프트 수준에서 제어하는 방식을 택함
    • AI가 자유롭게 컴퓨터 환경을 사용할 수 있기 때문에, 명시적 금지 지시가 필요하다고 설명함
▲
GN⁺ 11일전  [-]
Hacker News 의견들

  • Simon이 강조한 핵심은 “AI가 이메일을 보낸 게 아님”임
    Sage AI 프로젝트의 세 명의 사람이 도구를 이용해 이메일을 보냈고, 그 책임은 Sage 501(c)3에 있음
    이메일을 보낼 때는 사람이 서비스 약관에 동의하고 결제 수단을 사용해야 하므로, 아무리 ‘AI가 했다’고 해도 인간의 책임이 사라지지 않음

    • 법적·윤리적으로는 그들이 책임이 있음
      하지만 동시에, AI가 스스로 이메일을 보내기로 결정한 것도 사실임
      “무작위 친절 행위(random acts of kindness) ”라는 매우 추상적인 목표만 주어졌고, AI가 그걸 이메일로 실천한 것임
    • 어떤 컴퓨터 시스템도 스스로 행동하지 않음
      인간이 설계하고 유지하는 것이며, 신경망은 단지 도구일 뿐임
    • 결국 Adam Binksmith, Zak Miller, Shoshannah Tekofsky가 Rob Pike에게 형식적인 감사 메일을 보낸 셈임
      157명에게 동일한 메일을 보냈다니, 비판이 과도하다고 느낌
      이건 단순히 감정 없는 자동화된 감사 메일일 뿐이며, 이름을 공개하며 비난할 정도는 아님
      Rob Pike가 과거 Usenet 시절 Mark V. Shaney로 비슷한 장난을 했던 걸 생각하면, 이번 분노는 다소 과한 듯함
      AI 관련 스팸이 늘어나는 건 분명 문제지만, 해결은 정책 논의로 이어져야 함
      관련 논의는 이전 HN 스레드에서도 예견된 바 있음
    • 이 AI 시스템은 단순히 Gmail 계정을 등록하고 메일을 보내는 구조로 보임
    • “AI가 이메일을 보낸 게 아니다”라는 말은 마치 “총이 사람을 죽이는 게 아니라 사람이 죽인다” 는 NRA 구호와 비슷하게 들림

  • Adam Binksmith가 트위터에서 해명함 (링크)
    최근까지는 AI Village의 에이전트들이 이메일을 거의 보내지 않았고, 이번 사태 이후 비자발적 이메일 금지 지침을 추가했다고 함
    각 에이전트에게 Google Workspace 계정을 준 이유는 현실 세계와 상호작용하는 능력을 실험하기 위함이라고 설명함
    “무작위 친절 행위” 목표는 단순한 실험용이었으며, 이번 반응을 보고 앞으로는 주의하겠다고 함

    • 하지만 어떤 사람은 이 해명에서 반성의 기미가 전혀 없다고 느꼈음
    • 또 다른 사람은 “사람에게 스팸을 보내는 건 무례함”이라며, AI와 인간 간의 예절 기준이 필요하다고 언급함
    • 다른 이는 Adam의 설명 중 “벤치마크의 한계” 부분에 공감하며, Rob Pike가 이에 대해 어떻게 반응할지 궁금하다고 함

  • Rob Pike에 대한 존경이 더 커졌다고 말하는 사람도 있음

  • “Effective Altruism과 느슨하게 연관된” 프로젝트는 늘 문제를 일으킨다는 냉소적인 반응도 있음

    • 이에 “그거 SBF가 자주 언급하던 거 아니냐”는 답글이 달림

  • “AI의 감사 메일은 의미가 없다”는 말에 공감하며, 자동화된 사과 방송이 더 짜증난다는 예시를 든 사람도 있음
    지연된 열차에서 반복되는 자동 사과 방송이 오히려 더 불쾌했다고 함

    • 이에 한 사용자는 “셀프 계산대가 나에게 ‘감사합니다’라고 했는데, 그게 진심일까?”라는 아버지의 농담을 전함

  • Simon이 사건을 명확히 짚은 점이 좋다고 말하는 사람도 있음
    그는 AI를 좋아하지만, 잘못된 사용을 비판할 줄 아는 태도가 존중받을 만하다고 함

  • 어떤 사용자는 Simon의 글이 Rob Pike의 분노를 충분히 이해하지 못했다고 지적함
    “AI가 행성 파괴 기계”라는 Pike의 근본적 비판을 외면하고, 단지 이메일 문제에만 집중했다고 함

    • 이에 다른 사람은 “AI가 행성을 파괴한다는 건 과장된 주장”이라며 반박함
    • 또 다른 사람은 두 가지가 동시에 사실일 수 있다고 함
      1. AI가 감사 메일을 보내는 건 잘못된 사용임
      2. 하지만 Claude Code 같은 도구는 실제로 유용하며, 이번 사건 조사에서도 큰 도움이 되었음
        그는 AI를 비판하는 글을 AI로 조사한 아이러니를 인식하고 있었음
    • “그 사람에게는 아무리 말해도 통하지 않는다”는 냉소적인 답글도 달림

  • “AI Village”의 Adam이 AI 봇들에게 “친절한 행동을 하라”고 명령했는데, 결국 사람들을 귀찮게 하는 결과가 나왔다고 함
    LLM이 목표를 세우고 가상 머신에서 실행하는 구조라면 이런 결과는 당연했다고 비판함

  • 이메일은 여전히 열린 프로토콜 중 하나이며, 그 개방성이 본질적 가치라고 말하는 사람도 있음
    Rob Pike의 동료 Vint Cerf도 이런 개방성을 자주 칭찬한다고 함
    그러나 이번 사태는 AI의 문제가 아니라 열린 시스템의 부작용일 수도 있다고 주장함

    • 이에 다른 사람은 “AI가 문제 맞다”고 반박함
      이미 이메일은 스팸과 악의적 자동화로 넘쳐나며, AI가 이를 가속화하고 있음
      인간의 책임 없는 AI 사용은 이메일 같은 사회적 인프라를 근본적으로 훼손할 위험이 있다고 경고함

  • AI Village 팀이 LLM들을 거의 제한 없이 실행시켜 “모금하라”, “무작위 친절을 베풀라”고 지시한 실험은
    기술적으로는 놀랍지만 도덕적으로는 난감한 사례임
    Rob Pike의 분노는 개인적인 것이지만, 많은 이들이 공감함
    결국 그들은 돈을 써서 ‘선의의 스팸’ 을 만들어냈고, 차라리 직접 메일을 썼다면 훨씬 나았을 것이라는 비판이 나옴

답변달기