내가 Google DeepMind를 떠난 이유

• Google DeepMind 연구 과학자였던 Alexander Matt Turner는 Google이 DHS·ICE에 클라우드 서비스를 제공하고, 미 국방부와 자율살상무기·대규모 AI 프로파일링을 구속력 있게 금지하지 않은 계약을 체결하자 양심상 남을 수 없다며 퇴사함
• 미 국방부가 Anthropic에 기존 제한을 없앤 “모든 합법적 용도” 계약을 요구하자, Turner는 IASEAI와 유명 AI 연구자들에게 공동 대응을 요청하고 Google 내부에서 약 250명의 서명과 Jeff Dean의 법정 의견서 참여를 끌어냄
• 인간이 무력 사용을 통제하고 비표적 AI 프로파일링을 금지하는 25쪽짜리 계약·감독 프레임워크를 작성했지만, Demis Hassabis가 검토를 지시한 뒤에도 고위 정책 담당자들의 평가를 받지 못함
• Google은 2026년 4월 미 국방부가 Gemini의 안전 설정 변경을 요구할 수 있고 Google은 합법적 정부 운용을 거부할 수 없는 계약을 체결했으며, 자율무기와 국내 대규모 감시를 피해야 한다는 문구에는 법적 구속력이 없었음
• 개인의 윤리적 약속이나 경영진에 대한 신뢰만으로는 압력 속에서 원칙을 지킬 수 없으므로, 사전 제한·독립 검토·투명성을 갖춘 낮은 신뢰 기반 거버넌스가 필요하다고 판단함

---

DHS·ICE 공급망에서 시작된 문제의식

• 2026년 1월 DHS 요원들이 최소 2명을 살해한 사건을 계기로, Turner는 Google과 이민 단속 기관의 관계를 조사함
• DHS의 2025 AI Use Case Inventory는 DHS의 운영 효율 향상에 쓰이는 생성형 AI 공급자 중 하나로 Google을 기재함
• Google은 ITC Federal 같은 제3자를 통해 ICE에 클라우드 서비스를 판매함
• Google의 다른 행위도 문제로 삼음
  • 2025년 10월 3일 ICE 활동을 경고하는 앱을 목록에서 제거함
  • 학생 시위자의 계정을 사전 통지 없이 ICE에 넘겨, 정부에 정보를 공개하기 전 이메일을 보내겠다는 서비스 약속을 어김
  • Google은 이민 단속 기관이 상용 클라우드 서비스를 이용했을 뿐이라고 답했지만, Turner가 문제 삼은 지점은 특별 서비스를 제공했는지가 아니라 ICE에 서비스를 제공했다는 사실이었음
• 이미 대규모 청원이 무시됐고 연좌농성·파업·대량 퇴사도 실현 가능성과 효과가 낮다고 판단함
• AI 업계에서는 대체하기 어려운 소수 인재가 조직에 큰 영향을 미치므로, 무작위 연구 엔지니어 100명보다 핵심 인력 10명이나 Jeff Dean 한 명의 이탈 가능성이 경영진에 더 큰 비용을 만들 수 있다고 봄

Jeff Dean과의 첫 접촉

• Jeff Dean은 Google의 30번째 직원이자 Chief Scientist이며 Gemini 프로젝트 공동 리더로, ICE를 공개 비판하고 2018년 자율살상무기 반대 서약에도 참여했음
• Turner는 2026년 2월 9일 Jeff에게 Google이 DHS 공급망에서 철수하도록 돕고 싶다고 직접 연락함
• Jeff는 Sundar Pichai, Demis Hassabis, Thomas Kurian에게 이메일을 보내는 것이 합리적이라고 답함
• Turner는 세 CEO에게 다음 내용을 전달했으나 답장을 받지 못함
  • 문제는 정당 정치가 아니라 ICE의 적법절차 침해, 시민 구금, 감독이 부족한 시설과 인권 침해임
  • 클라우드와 Gemini가 직접 계약이나 제3자 통합업체를 통해 해당 작전을 지원해서는 안 됨
  • DHS·ICE와의 협력은 인권 문제뿐 아니라 공급자의 평판 위험도 만듦
• 이후 Jeff에게 Google 내부에서 실질적인 변화를 만들 방법을 논의하자며 점심을 요청했고, 몇 주 뒤 약속이 잡힘

미 국방부의 Anthropic 압박

• 2026년 2월 25일 미 국방부는 Anthropic에 기존 계약의 제한을 없애고 Claude를 “모든 합법적 용도”로 제공하라고 요구함
  • 기존 제한은 치명적 자율무기와 AI 감시·프로파일링을 대상으로 했음
  • 거부하면 2억 달러 계약을 취소하고 공급망 위험 업체로 지정하며, Defense Production Act로 제공을 강제하겠다고 위협함
• “합법적 용도”라는 기준에는 두 가지 문제가 있다고 판단함
  • 미 국방부가 난파 생존자를 재차 공격한 사례처럼 독립 법률 전문가들이 전쟁범죄 가능성을 지적한 행위도 정부 스스로 합법이라고 판단할 수 있음
  • 대규모 감시와 AI 프로파일링도 기존 감시법이 AI를 전제로 작성되지 않아 합법 범주에 들어갈 수 있음
• 공급망 위험 지정은 일반적인 계약 거절과 달리 모든 군사 계약업체가 Anthropic 사용을 중단하게 만들어 기업의 경제적 존립을 위협할 수 있었음
• 이후 Lin 판사는 해당 지정이 “전형적인 불법 수정헌법 제1조 보복”이라고 판단함

IASEAI와 AI 석학들에게 요청한 공동 대응

• Turner는 Paris의 UNESCO 본부에서 열린 International Association for Safe and Ethical AI(IASEAI) 행사에 참석 중이었음
• IASEAI는 2024년 안전하고 윤리적인 AI를 위한 통합된 목소리를 목표로 설립됐으며, 2026년 작업반에는 자율무기와 확전을 다루는 Red Lines for Advanced AI가 포함됐음
• 행사장의 수백 명은 당일 발생한 Anthropic 사태보다 공공선택이론 같은 추상적 조정 문제를 논의하고 있었음
• 영향력 있는 연구자들에게 공개 대응을 요청함
  • Yoshua Bengio에게 Anthropic의 계약 자유와 규제되지 않은 자율살상무기 반대 성명을 요청했으나, 사무실에서 성명을 내지 않겠다고 답함
  • Geoffrey Hinton은 원격 참석 중이어서 Bengio나 Stuart Russell을 통한 접촉을 고려함
  • Stuart Russell에게 개인 및 IASEAI 명의의 성명과 내부 AI 전문가 동원을 요청함
• Stuart는 Bengio와 Hinton의 참여를 시도하고 IASEAI 회원 투표를 열어 행사 폐막 때 발표하겠다고 약속함

사라진 IASEAI 투표와 성명

• 폐막 행사에서 Stuart는 미 국방부의 행동을 “갈취 행위(extortion racket)”라고 부르고, Anthropic이 원하지 않는 용도로 제품을 제공하도록 강요받아서는 안 된다는 명제에 회원 투표를 추진하겠다고 말함
• 현장 거수 투표에서는 Anthropic의 계약 자유를 지지하는 IASEAI 성명에 거의 만장일치가 나옴
• 당시 계획은 목요일 밤까지 설문을 진행해 3분의 2가 찬성하면 Stuart가 IASEAI 명의로 서명하고, 미달하면 개인 성명을 내는 것이었음
• Turner는 투표 참여를 위해 75달러의 회원비를 냈지만 설문은 열리지 않았고, IASEAI는 아무 성명도 내지 않음
• IASEAI 측이 제시한 이유는 계속 달라짐
  • 성명 작성 시간이 더 필요함
  • 어떤 원칙을 근거로 삼아야 할지 불분명함
  • Anthropic–미 국방부 뉴스 흐름에 합류하는 데 장단점이 있음
  • 유사 상황을 처리할 내부 절차 개선에 집중하려 함
  • Anthropic이 자체 성명을 냈으므로 IASEAI 성명이 더는 필요하지 않음
• Anthropic의 금요일 시한 이후에도 소송은 수주간 이어졌고 Google 계약은 두 달 뒤 체결됐으므로, IASEAI가 성명·법정 의견서·Google 의사결정자 접촉에 나설 시간은 충분했다고 봄
• Turner는 Stuart가 공개 발언 대신 Google 경영진에게 비공개로 연락하거나 소개만 해줘도 도움이 된다고 여러 차례 요청했으나 답을 얻지 못함
• IASEAI는 요청에 따라 회원비를 환불했으며, 같은 장소에서 열린 AI 금지선 워크숍은 가장 큰 장애물로 정치적 의지를 꼽았음

OpenAI 계약과 Google 내부 여론 형성

• OpenAI는 미 국방부와 계약하면서 Anthropic과 같은 자율무기·대규모 감시 제한을 보호한다고 밝혔지만, 일부 분석은 계약 문구에 광범위한 허점이 있다고 판단함
• Turner는 Google DeepMind 내부 시사 토론 채널에서 Anthropic과 연대하고 “모든 합법적 용도”를 거부해야 한다고 촉구했으며, 한 메시지는 125개가 넘는 지지 반응을 받음
• 내부 게시 활동에는 여러 목적이 있었음
  • 침묵할 때 경영진이 치러야 할 조직 비용을 높임
  • 고위 관계자들이 읽는 채널을 통해 전략적 논거를 전달함
  • 계약에 불편함을 느끼는 직원들이 혼자가 아니라는 공동 인식을 만듦
  • OpenAI 계약의 허점을 공유해 유사한 보호 문구가 제시될 때 직원들이 받아들이지 않도록 함
  • 계약이 체결되면 퇴사할 수 있다는 의사를 직원들이 간접적으로 드러낼 통로를 만듦
• Google이 대규모 내부 채널에서 직접 조직하는 일을 꺼린다고 이해했기 때문에, 반응을 남긴 사람들에게 비공개로 연락함

250명 청원과 Anthropic 법정 의견서

• Jeff가 윤리적 이해와 실제 영향력을 모두 갖춘 소수 경영진이라고 보고, 그가 행동의 주체가 되어 직원들의 지지를 확인하도록 만드는 데 집중함
• 친구들과 함께 하루나 이틀 만에 Google DeepMind 및 Research 직원 약 250명의 서명을 모아 Jeff에게 전달함
  • 서명자들은 기본적인 금지선을 넘는 계약을 막기 위해 할 수 있는 모든 일을 해달라고 요청함
  • 초기 청원에서 미국 외 시민의 영장 없는 감시 문제를 제외한 것은 협상 전에 원하는 것을 스스로 양보한 잘못이었다고 평가함
• Anthropic이 미 국방부의 공급망 위험 지정에 대해 소송과 금지명령을 신청하자 Protect Democracy가 AI 전문가들의 법정 조력자 의견서를 준비함
• Turner는 의견서에 서명하고 동료와 Jeff에게 참여를 요청했으며, Jeff도 공개적으로 서명함
  • Google DeepMind 서명자 18명 중 8명을 Turner가 모집함
  • Jeff는 C급 경영진으로서 Google의 침묵과 공개적으로 다른 행동을 취한 유일한 경영진이었음
• Google 직원들의 서명은 미 국방부에 Google도 향후 계약에서 철수할 수 있다는 우려를 일으켜 협상이 지연되는 데 일부 영향을 줬다고 판단함
• Google 법무팀에도 정부가 Anthropic을 압박하도록 방치하면 향후 Google에도 같은 위협을 사용할 수 있다며 의견서 제출을 요청했으나 Google은 참여하지 않았고, Microsoft는 의견서를 제출함

경영진의 낙관과 계약 체결 가능성

• 2026년 3월 내내 고위 경영진은 지도부도 문제를 인식하고 있으므로 Google이 “모든 합법적 용도” 계약에 서명하지 않을 것이라고 말함
• Turner는 누군가 지도부에 실제 비용을 만들지 않으면 Google이 물러설 가능성이 높다고 판단함
• 인용 자료를 포함한 메모에서 다음 근거를 제시함
  • Google이 학생 시위자의 정보를 ICE에 자발적으로 넘기는 등 더 낮은 위험의 압력에도 순응한 전례가 있음
  • 정부 계약에서 차지하는 비중이 큼
  • Google DeepMind의 AI 원칙이 구체적 금지에서 모호한 문구로 약화됨
  • 반독점 문제와 현 법무부의 소송 기록이 Google에 추가 압력으로 작용함
• 해당 메모를 여러 차례 공유했지만 고위 직원들을 설득하지 못했다고 판단함

Jeff를 중심으로 준비한 협상 전략

• Jeff는 2018년 “자율살상무기의 개발·제조·거래·사용에 참여하거나 이를 지원하지 않겠다”는 서약에 참여했고, 2026년에도 입장이 바뀌지 않았다고 공개적으로 재확인함
• 대규모 감시가 수정헌법 제4조와 표현의 자유를 침해하고 정치적·차별적으로 악용될 수 있다며, 미국인을 대상으로 한 AI 대규모 감시를 원하지 않는다고 밝힘
• Turner는 Google이 무제한 계약을 체결하면 Jeff가 서약을 지키기 위해 퇴사해야 한다는 논리적 결과에 도달함
• Jeff가 Sundar Pichai에게 계약 체결 시 남을 수 없다고 말하도록 만드는 시나리오를 준비함
  • 250명 청원으로 직원들의 지지를 보여줌
  • Jeff가 선을 그으면 함께 행동할 의사가 있는 여러 고위 직원의 지원도 확보함
  • 여러 명의 연합은 보너스나 개별 설득으로 분열될 수 있어 실제 전략은 Jeff 한 명의 영향력에 의존함
• 모호하게 “나쁜 계약을 맺지 말라”고 요구하면 표면만 개선된 계약으로 끝날 수 있어 구체적인 대안을 준비함

25쪽짜리 군사 AI 프레임워크

• Turner는 휴가를 사용해 개인 시간에 25쪽 분량의 계약 문구와 감독 구조를 작성하고 군사·감시법 전문가의 검토를 받음
• 인간과 AI의 전투 통합 분야 법률 전문가는 프레임워크가 “실제로 꽤 좋다”고 평가하고 개선점을 제안함
• 정부처럼 강제력을 행사하는 기관에 AI를 제공할 때 두 가지 기준을 적용함
  • 무력 사용에 대한 인간 통제
    • AI가 각 교전에서 적절한 인간 통제 없이 표적을 선택하고 공격하는 시스템에 쓰이지 못하게 함
    • AI 구성 요소만 표적화 파이프라인에 제공하는 경우에도 적용함
    • 합법적 배치 방식을 확인할 법률적 투명성과 상호 합의한 중립 감사자의 검증을 요구함
    • 요격 방어, 두 번째 기준을 따르는 정보 분석, 군수, 연구개발은 제한하지 않음
  • 비표적 AI 프로파일링 금지
    • 대량 데이터를 이미 특정된 조사 대상이 아닌 개인에 관한 정보로 변환하지 못하게 함
    • 인구통계적 특성이나 정치적 표현만으로 개인 분석을 시작할 수 없음
    • AI 출력만으로 개인에 대한 심층 조사를 시작할 수 없음
    • 표적이 특정된 분석, 집계 연구, 비전투원 보호를 개선하는 분쟁 지역 분석은 허용함
• 7명으로 구성된 Defense AI Review Body를 Chief Scientist가 임명하고 감독하도록 설계함
  • 클라우드에 7석 중 2석을 배정함
  • 직원은 자신이 관여한 계약에서만 회피함
  • 검토 지연을 최대 10일로 제한함
  • 논의는 변호사·의뢰인 비밀특권으로 보호함
• Review Body의 권한은 자문에 그치지만, 권고를 무시한 사례는 모든 AI 직원에게 제공되는 연례 투명성 보고서에 포함함
• 조직을 해산하려면 사전 고지와 해결되지 않은 미준수 사항의 정확한 공개가 필요해, 2018년 원칙처럼 조용히 무력화하기 어렵게 함
• Congress가 해당 사용을 실질적으로 규제하는 법을 통과시키면 Chief Scientist와 Review Body의 압도적 다수결로 기준을 폐기할 수 있음
• “모든 합법적 용도”가 요구되면 예정된 사용의 적법성을 입증하는 법률 메모를 제공받고, 회사 기준을 충족하지 않는 사용은 거절하도록 설계함
• 계약 상대가 반대할 가능성을 고려해 Alphabet 이사회로의 상향 보고처럼 협상에서 양보할 수 있는 덜 중요한 조항도 포함함

Jeff와의 점심과 Demis에게 보낸 제안

• 2026년 3월 17일 Mountain View에서 Jeff와 만나 Review Body를 이끌어 달라고 제안했으나 Jeff는 받아들이지 않음
• 비공개 대화는 허락 없이 인용하지 않았으며, 확인 가능한 공개 행동은 Jeff가 Anthropic 지지 의견서에 서명했지만 Google 계약 체결 후에도 회사에 남았다는 점임
• Jeff가 프레임워크를 주도하지 않으면서 성공 가능성이 크게 낮아졌고, 다음 경로로 Demis Hassabis를 선택함
• DeepMind는 2014년 Google에 인수될 때 AI를 군사·무기 목적으로 사용하지 않겠다는 약속을 받았고, 2018년에는 공동 창업자들과 조직 자체가 자율살상무기 반대 서약에 참여했음
• 관리 체계를 통해 제안을 전달하려고 일주일간 시도한 뒤, 2026년 4월 1일 Demis에게 직접 메시지를 보냄
• Demis는 Google DeepMind 정책을 담당하는 고위 인사 2명에게 프레임워크 평가를 지시함
  • 두 사람은 처음에는 답하지 않았고, 이후 하위 담당자에게 보냄
  • 하위 담당자들은 프레임워크에 긍정적이었지만 답변까지 수개월이 걸릴 수 있다고 말함
  • 미 국방부의 1월 9일 메모는 모든 AI 계약업체에 7월 8일까지 “모든 합법적 용도” 계약을 수락하도록 180일의 시한을 줬기 때문에 수개월의 검토는 상황과 맞지 않았음
  • Turner는 질의응답을 위해 San Francisco에서 London까지 가겠다고 제안했지만 고위 정책 담당자들은 다시 답하지 않음
• CEO가 검토를 지시했는데도 평가 결과가 전달되지 않은 절차에 불만을 가졌으며, 알려지지 않은 정당한 사정이 있었을 가능성은 열어둠

Google이 조용히 체결한 미 국방부 계약

• 2026년 4월 27일 보도를 통해 Google의 기밀 AI 계약 체결 사실이 알려짐
• Turner는 다른 직원 600여 명과 함께 Sundar에게 기밀 AI 계약을 거절하라는 서한에도 서명함
• 계약의 핵심 문구는 다음과 같았음
  • 미 국방부는 Google AI를 “모든 합법적 정부 목적”에 사용할 수 있음
  • 정부 요청에 따라 Google이 AI 안전 설정과 필터 조정을 지원해야 함
  • 국내 대규모 감시나 적절한 인간 감독 없는 자율무기에 쓰여서는 안 된다는 문구가 포함됨
  • 동시에 Google에는 합법적인 정부 운용을 통제하거나 거부할 권리가 없다고 명시함
• “should not”은 구속력 있는 금지가 아니어서 윤리적 우려에 형식적으로만 대응했다고 판단함
• Google은 계약 체결 사실을 내부에 알리지 않았고, Turner는 밤 11시 45분 Signal 그룹에서 이를 알게 됨
• Google이 1억 달러 규모의 음성 제어 자율 드론 군집 공모에서는 내부 윤리 검토 후 철수한 사례도 있었음
  • 일부 사업에서는 실제로 작동하는 윤리 검토가 존재한다는 점은 긍정적으로 평가함
  • 그러나 “모든 합법적 용도” 계약에서는 Gemini가 실제로 어떤 용도에 쓰일지 Google이 알 수 없어, 이익이 피해를 크게 능가하는지 평가하기 어려움
  • Anthropic CEO조차 Claude가 이란 여학교 폭격에서 어떤 역할을 했는지 알지 못한다고 말한 사례를 들어 배치 후 투명성 부족을 강조함

바뀌지 않았다고 한 AI 원칙의 변화

• Demis는 세계가 더 위험해졌고 민주적 가치의 승리를 당연시할 수 없으므로 정부와 협력해야 한다고 말함
• Google의 근본 원칙은 이익이 피해 위험을 크게 능가하는지 신중히 판단하는 것이며, 국제법과 인권을 존중한다는 점도 바뀌지 않았다고 밝힘
• Turner는 “상황을 본 뒤 판단한다”는 기준은 압력 속에서도 지킬 사전 약속이 아니므로 원칙이라 보기 어렵다고 판단함
• 2018년 Google AI 원칙은 사람에게 피해를 주는 것이 주목적인 무기와 국제적으로 인정된 규범을 위반하는 감시를 개발·배치하지 않겠다고 명시함
  • 이 원칙 때문에 Google은 2018년 100억 달러 규모 JEDI 계약 입찰에서 철수함
• Demis가 공동 작성한 2025년 2월 4일 개정안은 무기와 감시에 관한 구체적 금지를 제거함
• 금지 조항을 제거하면서 “원칙은 바뀌지 않았다”고 말하는 두 입장은 동시에 참일 수 없으며, 마지막 근무일에 이 불일치를 내부 채널에 공유하자 많은 직원이 실망을 표시함

정부 협력과 무제한 양보는 다른 선택

• 서방 민주주의가 권위주의에 맞서기 위해 자율무기를 채택해야 한다는 전제를 받아들이더라도, 미 국방부의 모든 요구를 수용하는 것이 유일한 선택은 아니라고 판단함
• 군사 AI 거버넌스 프레임워크를 적용하면 중국과의 경쟁에 필요한 사용은 허용하면서 비윤리적 사용은 제한할 수 있음
• 계약이 강제됐더라도 Google은 Congress에 법적 보호 장치를 요구하는 데 영향력을 사용할 수 있었으므로, 무제한 계약 수용은 선택이었다고 봄

개인적 신뢰와 제도적 거버넌스

• Demis는 독립 이사회나 안전 헌장 같은 구조가 결정적 순간에 올바르게 작동하지 않을 수 있고, 미리 명확한 선을 긋기보다 Google 내부에서 신뢰를 쌓고 의사결정 테이블에 앉는 방식을 선호함
• 이 철학은 DeepMind를 반독립 조직으로 분리하려던 협상에서 Sundar가 거부한 뒤 형성됐음
• Turner는 시스템이 요구하는 신뢰의 양을 줄여야 한다고 반박함
  • 개인 역시 결정적 압력에 노출되며 지분, 동료와의 사회적 관계, 회사와 결합된 자아상 같은 더 나쁜 유인을 가질 수 있음
  • 프레임워크는 Chief Scientist가 Review Body를 구성할 때까지 합리적으로 행동한다는 단일 신뢰 가정만 두고, 이후에는 계약과 투명성으로 정당화된 신뢰를 만듦
  • 부당한 계약을 완전히 막지는 못해도 이를 통과시키는 데 마찰과 공개 비용을 추가함
• Demis는 모든 관련 계약의 의사결정 테이블에 있었지만, 최종 계약에는 직원들의 윤리적 우려를 반영한 구속력 있는 조항이 하나도 없었음
• 더 나쁜 결과를 막았을 가능성은 인정하지만, 실제 계약 조건은 예상 가능한 최저선에 가까웠고 OpenAI의 조건보다도 약했음
• Google DeepMind 연구 과학자 Andreas Kirsch도 “Trust is not Governance”에서 독립적으로 같은 결론에 도달함

Google DeepMind 거버넌스 실험의 실패

• Google DeepMind는 무기 사용 금지 약속과 반독립 거버넌스 구조를 전제로 Google에 매각됐지만, Sundar는 독립 구조를 거부함
• 직원 압력으로 만들어진 2018년 AI 원칙도 이후 지도부가 구체적 무기·감시 금지를 제거하면서 약화됨
• Google DeepMind에서는 수익과 정치적 압력이 윤리적 약속을 이겼지만, Anthropic은 같은 압력 아래 기존 금지선을 유지함
• 누구도 원칙을 지키지 않는다는 것이 아니라, 사회가 윤리적 개인이 끝까지 버틸 것이라고 의존할 수 없다는 결론에 도달함
• Congress가 효과적으로 대응하지 못하더라도, 경영진이 “의사결정 테이블에 앉아 있다”는 사실만으로 안전이 보장된다는 생각은 중단해야 한다고 봄

서약자에게 남은 선택

• Jeff Dean, Demis Hassabis, Shane Legg 등은 자율살상무기의 개발·제조·거래·사용을 지원하지 않겠다고 서약했지만, Google이 용도를 제한할 권리 없이 AI를 군에 제공한 뒤에도 회사에 남음
• 계약이 자율무기를 명시적으로 허용한 것이 아니라 금지하지 않았을 뿐이라는 해석에 대해, 사용처를 알지 못하도록 눈을 가린다고 책임이 사라지지는 않는다고 반박함
• 최고의 AI를 만들고 자율살상무기 사용을 원하는 군에 제공하며 용도 제한 권리까지 포기한 회사에 계속 남아 AI를 개발하는 행위는 서약과 충돌한다고 판단함
• 서약자에게는 세 가지 정직한 선택이 있다고 봄
  • 남는 것이 서약과 어떻게 양립하는지 공개적으로 설명함
  • 더는 그 서약을 지지하지 않는다고 밝히고 이유를 설명함
  • 회사를 떠남
• 명확한 금지선에서도 구속력 있는 조항을 하나 얻지 못했다면 “내부에서 긍정적으로 조종하기 위해 남는다”는 근거가 약함
• 가장 분명한 약속을 어기고도 아무 행동을 하지 않으면 다음 안전 약속의 신뢰도도 낮아지고, 결국 약속 자체가 가치 없어짐

AI 윤리 지도자들의 침묵

• 책임은 미 국방부를 압박한 Pete Hegseth와 Donald Trump, 계약을 체결한 Sundar Pichai, 영향력을 더 사용하지 않은 Jeff Dean 사이에 동일하지 않게 나뉨
• Turner는 특히 윤리적 약속을 공개적으로 내세운 고위 AI 전문가들의 지속적인 무대응에 실망함
• Geoffrey Hinton은 Google의 군사 AI 약속 철회에 매우 실망했으며, 현 행정부가 Google을 불리하게 대할 것을 우려했기 때문일 수 있다고 추측함
• Stuart Russell과 Hinton은 일반적으로 소극적인 인물들이 아니었음
  • Stuart는 오랜 기간 AI 실존 위험과 자율살상무기를 공개적으로 경고함
  • Hinton은 1980년대 군사 AI 자금 지원에 반대해 미국을 떠났고, 2023년 Google을 떠나 AI 위험을 자유롭게 발언함
• 2025년 9월 Global Call for AI Red Lines에는 Nobel·Turing 수상자 15명을 포함한 300명 이상이 서명했으며 Stuart, Bengio, Hinton, Mark Nitzberg도 대규모 감시와 자율살상무기 금지를 지지함
• 추상적 원칙에는 서명했지만 2026년 2월 실제 기업·정부 충돌이 발생하자 IASEAI는 아무 성명도 내지 않음
• 정치적 자본을 더 중요한 순간을 위해 아꼈다는 해석은 공개 성명을 피한 이유가 될 수 있지만, Google 의사결정자와의 비공개 연결처럼 비용이 낮은 도움까지 거절한 이유는 되지 못함
• Jeff는 유일하게 공개 행동을 한 Google 경영진으로서 존중받을 부분이 있지만, 더 큰 영향력을 행사해 계약을 막을 수 있었다고 판단함

직책의 경계를 넘은 내부 행동과 퇴사

• 일반적인 “책임 있는 연구 과학자”라면 우려를 트윗하고 관리자에게 메시지를 보내는 데 그쳤겠지만, Turner는 효과가 있을 계획만이 행동으로서 가치 있다고 판단함
• Alex Pretti의 사진을 휴대전화 알림으로 설정했고, ICE가 사람을 사살하고 집에서 끌어내는 사건을 떠올리며 두려움을 견딤
• 다른 최고 AI 연구소로 이직해 큰 보너스를 받는 일반적인 경로를 선택하지 않음
  • OpenAI 안전팀의 접촉도 거절함
  • 퇴사 시점에는 다른 직장이 없는 상태였음
• 2월부터 Google이 계약을 체결할 가능성이 높다고 봤지만, 실제 계약이 없었다면 몇 달은 더 남았을 수 있음
• 계약이 체결되자 더는 업무를 할 수 없다고 느꼈고, 사무실이 과거의 학교처럼 더 이상 자신이 속한 곳이 아니라고 판단해 퇴사함

예상되는 반론과 답변

• 특정 제안을 따르지 않았다는 이유만으로 개인을 비난할 수는 없지만, 고위 윤리 지도자들이 어떤 형태로든 행동했다면 결과에서 가시적인 영향이 나타났어야 한다고 봄
• Jeff가 실제로 퇴사를 걸고 강하게 반대했다면 최종 계약에 최소 하나 이상의 구속력 있는 조항이 들어갔을 것이라고 예상함
• 모든 사람이 모든 문제에 발언할 의무는 없지만, 회원 투표를 약속하고 취소하거나 자율살상무기 반대를 정체성의 중요한 부분으로 삼은 뒤 결정적 순간에 침묵한 경우는 다름
• 프레임워크를 제시했어도 미 국방부가 거절했을 가능성에는 동의함
  • xAI 같은 다른 공급자는 AI를 제공했을 것임
  • 그러나 Google이 Anthropic·OpenAI와 연합하거나 미 국방부의 요구를 거절했다면 기술 업계의 순응을 독립적인 대응으로 바꿀 수 있었음
  • 미 국방부가 거절하면 Google도 계약에서 철수할 수 있었기 때문에 Jeff의 영향력은 여전히 중요했음
• 미 국방부는 Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle, SpaceX와의 계약을 Anthropic과의 충돌에 대한 “대응 성명”으로 규정하며, 대형 기술 기업들이 군과 모든 합법적 용도를 지지한다고 강조함

AI 실존 위험과 군사 배치

• Google DeepMind의 신뢰할 만한 고급 AI 안전 논증은 Frontier Safety Framework가 다루는 사고 과정(chain of thought) 감시에 크게 의존할 가능성이 있다고 봄
• 잘못 정렬된 AI는 종료를 피하기 위해 해로운 의도를 직접 밝히지 않고 기만할 수 있으며, 사고 과정을 조사하는 것은 이를 탐지하는 주요 방법 중 하나임
• 감시를 위해서는 데이터에 접근하고 분석할 훈련된 인간 감독자가 필요하지만, 기밀 군사 데이터센터는 상용 Google 인프라와 격리돼 있음
• Google 직원이 군의 작전을 읽어야 한다는 뜻이 아니라, 기본적으로 해당 감시를 수행할 적절히 훈련된 군 엔지니어가 없을 가능성을 문제 삼음
• 사고 과정의 기만을 감시하지 않으면 AI가 책략·기만·장악을 통해 인류에 재앙적 피해를 줄 가능성을 통제하기 더 어려움
• 군사 배치 환경은 감독이 약한 동시에 강력한 의사결정자와 인프라에 접근할 수 있어 악성 AI가 노릴 만한 환경이 될 수 있음
• 군과 US CAISI가 악성 AI를 감시·봉쇄할 전문성, 주의와 통제 절차를 개발하기를 기대함

“API 접근만 제공한다”는 해명의 한계

• 경영진은 상용 모델에 업계 표준 조건으로 API 접근을 제공하는 것이 국가안보를 지원하는 책임 있는 방식이라고 말함
• 일반적인 API 접근은 요청이 공급자의 서버로 전송돼 공급자가 사용을 감시할 수 있다는 인상을 줌
• 기밀 작전에서는 평문 질의를 Google 서버로 보낼 수 없으므로, Turner는 격리된 정부 클라우드 클러스터에 Gemini API 엔드포인트를 제공하는 온프레미스 방식일 것으로 추정함
• 이 경우 “API 접근만”이라는 말은 기술적으로 맞을 수 있지만 Google의 중앙 감시가 가능하다는 잘못된 인상을 주며, 자율무기·전쟁범죄·대규모 프로파일링 문제를 해결하지 못함
• Anthropic을 제외하면 이러한 조건이 업계 표준이 되는 데 Google도 기여했다고 판단함

[GN⁺]

Hacker News 의견들

• 압력에도 옳다고 믿는 바를 행동으로 옮긴 TurnTrout의 결단을 존중함. 앞으로 20년간 닥칠 중대한 죄수의 딜레마에서 인류가 더 나은 선택을 하려면 이런 똑똑한 사람이 더 많아야 함
  AI 업계가 타인의 집단적 노력을 무시한 채 가치를 추출해 재판매한다고 여겨 연구자들까지 부정적으로 봤지만, 이번 일로 AI 연구자들에 대한 존중도 조금 높아짐. TurnTrout이 이 프레임에 전부 동의하지는 않더라도 자신의 윤리적 원칙을 지킨 것은 기쁜 일임

  • 창작자에게 보상해야 한다는 데 동의하며, 실제 보상이 너무 적었던 것은 잘못이라고 봄. 다만 그것이 GDM 입사를 포기할 정도의 조건은 아니었음
    AI의 실존적 위험을 줄이기 위한 AGI 안전성 연구를 하려고 입사했고, Gemini의 순수 성능을 높이는 작업은 의식적으로 피했음. 당시 나름의 절충을 택했으며 그 결정을 비판하는 것도 타당함
  • 독자 모두가 배경을 아는 것은 아니므로, 일화에 관한 출처 링크를 추가하면 좋겠음

• 팔레스타인인을 감시하고 모든 통화를 녹음하는 등 이스라엘 및 IDF와 협력한 것 때문에 Microsoft를 퇴사했음. 이후 Microsoft가 일부 조치를 철회했지만 Satya도 책임에서 자유롭지 않음
  https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...

  • Microsoft는 이스라엘의 팔레스타인인 살해는 지원하면서 국제형사재판소 검사들의 계정은 끊는 것인가
  • 더 많은 직원이 이런 식으로 행동하면 기업은 빠르게 입장을 바꿀 것임. 결국 기업이 신경 쓰는 것은 돈이기 때문임

• 글이 Anthropic 사태를 정확히 묘사하지는 않음. 미 국방부 연구·공학 차관 Emil Michael은 All-In 팟캐스트에서 Dario가 협상 중 계속 “필요하면 전화하라, 그때마다 제한선을 정할 수 있다”고 했다고 설명함
  ICBM 발사 후 30분 안에 전개될 수 있는 대규모 분쟁에서 국가안보 조직이 매번 Dario에게 전화해 허가받을 수는 없음. Emil은 Dario가 항목별 거부권을 통해 최종 통제권을 쥐려 했으며, 심지어 국가의 생존보다 그 권한을 우선할 수 있다고 판단한 듯함. 군사 조달 관점에서는 이런 행동을 기록하고 일정한 상황에서 다른 기관과 공유하는 것이 합리적이며, 계약업체의 문제 행동을 기록하는 데이터베이스도 이미 존재함
  All-In이 Emil에게 우호적인 자리였던 것은 분명하지만, 공격을 방어하는 데 시간을 낭비하지 않아 더 세밀한 사실관계를 들을 수 있었다고 봄
  관련 구간: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
  계약업체 기록: http://www.ppirs.gov/

  • 그렇다 해도 공급망 위험 지정이나 정부 외 업무까지 포함해 계약업체가 Claude를 전혀 쓰지 못하게 한 조치는 설명되지 않음. 정부는 단순히 다른 공급자를 선택할 수도 있었는데, 이는 굴복하지 않은 데 대한 보복으로 보임
  • All-In에 출연한 Emil Michael만큼 신뢰하기 어려운 출처도 드묾. 어느 쪽도 완전히 믿을 수는 없지만 Emil과 Dario의 말이 충돌한다면 열 번 모두 Dario를 믿겠음
    Emil은 Uber에서 정치적 적을 비방하고 파괴하는 역할을 맡았는데, 지금은 예전과 다르게 행동한다고 볼 근거가 없음

• 원칙을 지키는 사람이 너무 드물어짐

  • 은행 계좌에 7~8자리 자산이 생긴 뒤에야 가능한 경우가 많음

• TurnTrout이 원칙대로 살아가는 모습은 대단함. 내게 그만한 용기나 자신감이 있는지는 모르겠으며, Palantir 같은 회사에서 일하기를 선택하고 자랑스러워하는 똑똑한 사람들과 대비됨

  • 이는 용기나 자신감보다는 소수만 응답하는 양심의 소명에 가까움. TurnTrout은 상대의 잘못만 나열하지 않고 자신이 어떤 노력을 했는지도 기록했다는 점에서 잘했음
    전쟁 기계와 이를 필요로 하는 제국의 금융 체제에 맞서는 양심적 병역 거부와도 닮았음. Google DeepMind에서 직접 일했다는 권위가 있어도 사람들은 좀처럼 듣지 않을 것이며, 전시에는 광기와 돈이 논리와 이성을 압도하기 때문임
    Snowden 이후 Five Eyes 관계자들이 떼로 퇴사하지 않았듯 대부분은 억압에 맞서지 않을 이유를 찾아냄. 저자가 채식주의자로서 육식 중심 사회에서 이미 홀로 원칙을 지켜온 점은 더 큰 양심적 거부를 위한 연습이 되었을 수 있음
    주택담보대출과 자녀, 자동차 빚과 한도까지 찬 신용카드를 떠안은 사람이나 은퇴를 앞둔 사람은 공개적으로 저항하기 어렵고, 젊은 사람은 뜻을 표현할 언어가 부족할 수 있음. 권력에 진실로 맞서는 장기적인 1인 활동에는 충분한 경제적 독립성도 필요함
    특히 언론이 문제의 본질보다 당사자의 처지만 다뤄 내부고발자로 인정받지 못한 이들에게도 큰 빚을 지고 있음. 이 첫걸음은 소명을 처음 거부한 뒤 비범한 세계로 들어가 모두에게 이로운 것을 가지고 돌아오는 고전적인 영웅의 여정과 닮았음

• 신념을 지킨 것은 존중하지만, 왜 지능형 AI 무기를 원하지 않는지 궁금함. 비무장 민간인과 군사 표적을 구별하는 탑재형 AI가 아무것이나 폭발시키는 재래식 기뢰보다 오히려 책임 있는 선택 아닌가

  • 일상적인 작업에서도 AI 정확성을 두고 논쟁이 큰데, 인간보다 확실히 정확하고 진정한 추론·판단 능력을 갖췄다고 입증되기 전까지는 생명이 걸린 결정에 LLM을 투입하면 안 됨
    LLM 기반 기계에 수술 마취를 맡기고 싶지 않은 것처럼 훨씬 많은 사람의 생사를 결정하는 군사 체계도 현재 상태로는 원하지 않음. 미래에 무기 운용 기술을 진정으로 신뢰할 수 있게 되더라도 전쟁 자체가 꼭 필요한지, AGI에 가까워진 그 기술의 동기가 무엇인지 같은 새로운 철학적 질문이 생김
  • AI 보조 표적 시스템이 최종 결정을 내리면 군인은 죄책감을 덜 느끼게 되고, 직접 무기를 쓰지 않고 감시만 해도 되므로 살인이 더 쉬워짐. 살인의 자동화는 사망자 수를 크게 늘릴 수 있음
  • 기계가 즉시 생사를 판단하게 해서는 안 됨. AI가 정보를 제공하더라도 최종 방아쇠는 인간이 당겨야 하며, 그 안전장치가 기계의 연쇄 살상을 막아줌
    부당한 살인에는 사람이 책임져야 하는데 AI 무기는 “알고리즘의 실수였고 버전 23에서는 개선하겠다”는 식으로 책임을 피하기 너무 쉬움. 무기에 AI를 통합하면 완전 자동 살상까지의 거리가 매우 짧아짐
  • 폭력에 적용된 제번스의 역설임. 지금은 부수적 피해의 위험이 살상을 제한하지만, 그 위험이 낮아지면 오히려 살상이 늘 수 있음. 반대로 대규모 전쟁을 억제하는 가장 강력한 장치가 상호확증파괴라는 점도 같은 역설을 보여줌
  • 기계에 결정을 넘기는 순간 인간의 책임성이 사라짐. 로봇이 불법적이거나 비도덕적인 일을 해도 “버그였다”거나 “그런 의도가 아니었다”고 하며 그럴듯하게 부인할 수 있음
    극단주의 콘텐츠 추천, 흑인 오인식, 남성 편향 채용에서도 늘 “알고리즘이 그랬다”고 책임을 돌려왔음. 이런 시스템은 실제로 하는 행동이 곧 목적이기 때문에 법적 책임을 명문화하려는 시도도 대개 필사적으로 회피됨

• Google에서 일해봤지만, AI 윤리에 관한 말은 약속이 아니라 기만이었음. Google은 다른 많은 기업처럼 정교하게 조율된 허위정보와 반쪽짜리 진실로 직원의 집중력과 동기를 유지함
  “직원의 목소리를 듣는다”는 말도 사업상 영향이 없고 회사를 선하게 포장할 수 있을 때만 사실임. 정치적·경제적으로 조금이라도 저항이 생기면 듣지 않음. 변화를 위해 싸운 저자는 높이 평가하지만 Google의 다크 패턴은 백서와 이메일을 정중히 주고받는 정도로 뿌리 뽑기에는 너무 깊음

• 게시된 지 1시간밖에 안 됐고 200점 이상을 받았는데도 HN 첫 화면에서 사라짐

  • 논쟁 과열을 감지하는 장치가 작동해 글의 순위를 낮춘 것으로 보임

• Google은 Trump 당선 뒤 DEI 정책을 폐기한 영합적 기업이며, 애초에 그 정책도 진심이 아니었음. 이번 시도는 다소 순진해서 실패할 수밖에 없었지만, AI 군사 제품도 여학교를 폭파하는 일 외에는 제대로 작동하지 않을 가능성이 큼
  Hassabis의 규제 포획 구상을 지지하려고 CEO들이 앞다퉈 나서는 모습임
  https://xcancel.com/sundarpichai/status/2077086951833063580#...
  https://xcancel.com/satyanadella/status/2077063479232795024#...
  https://xcancel.com/elonmusk/status/2077415601610297535#m
  그들만의 폐쇄적인 모임이며 우리는 그 안에 속하지 않음

  • 사실 모든 기업은 행동 방식이 사이코패스적임. 유일한 목표는 주주에게 돈을 벌어주는 것이므로 방해물은 무엇이든 제거하며 끊임없이 최적화함
    GOOG, MSFT, META 등을 보유한 대다수는 수익이 어떻게 만들어지는지보다 자신의 401(k)가 오르기만을 바라며, 애초에 체제가 그렇게 설계돼 있음