OpenAI, 군사 도구 금지 해제 후 펜타곤과 협력

 (semafor.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • OpenAI는 군대에 AI 기술을 제공하지 않던 기존 방침에서 벗어나, 사이버보안 소프트웨어를 포함한 펜타곤 프로젝트를 진행 중임
  • 회사는 참전용사 자살 감소 도구도 미국 정부와 논의하고 있지만, 무기 개발 금지는 유지한다고 밝힘
  • 사용 정책에서 “military and warfare” 금지 문구가 삭제되면서, 군사 영역에서 AI 활용 범위가 어디까지 허용되는지 논란이 커짐
  • 실리콘밸리는 2018년 Google 직원들의 펜타곤 프로젝트 반대 이후에도 국방부 협력에 더 열린 방향으로 움직였고, 펜타곤도 스타트업과 첨단 도구 도입을 적극 추진해 왔음
  • 무기 개발을 제외하더라도 데이터 해석·코드 작성 같은 국방부용 AI 소프트웨어는 군사용 데이터 처리와 전쟁 수행의 경계를 흐릴 수 있음

OpenAI와 펜타곤 협력

  • OpenAI는 펜타곤과 소프트웨어 프로젝트를 진행 중이며, 그중에는 사이버보안 관련 작업도 포함됨
  • 이는 군대에 AI 기술을 제공하지 않겠다는 과거 방침과 대비되는 변화임
  • ChatGPT 개발사인 OpenAI는 미국 정부와 참전용사 자살을 줄이기 위한 도구 개발도 논의 중임
    • Anna Makanju OpenAI 글로벌 업무 담당 부사장이 World Economic Forum에서 이 내용을 밝힘
    • 다만 무기 개발 금지는 유지한다고 설명함

사용 정책 변경과 안전 우려

  • OpenAI는 지난주 사용 정책에서 AI가 “military and warfare” 애플리케이션에 사용되는 것을 금지하는 문구를 삭제함
  • 이 변경은 AI 안전 옹호자들의 우려를 촉발함
  • 새 정책은 무기 개발은 금지하지만, 군과 관련된 다른 형태의 소프트웨어 제공 가능성은 남겨둠

실리콘밸리와 미국 국방부의 관계 변화

  • 실리콘밸리는 최근 몇 년간 미국 군과의 협력에 더 완화된 태도를 보여 왔음
  • 2018년에는 수천 명의 Google 직원이 펜타곤 프로젝트에 반대함
    • 직원들은 자신들이 개발한 기술이 치명적 목적에 사용될 수 있다고 우려함
    • 이 시점은 실리콘밸리의 국방부 반대가 가장 강했던 때로 평가됨
  • 이후 Google은 방위 계약으로 수억 달러를 벌어들임
  • 펜타곤은 실리콘밸리 스타트업을 설득해 신무기 기술 개발과 국방부 운영에 첨단 도구를 통합하려고 노력해 왔음
  • 미중 긴장과 러시아의 우크라이나 전쟁도 기업가들이 군사 협력에 대해 가졌던 주저함을 줄이는 요인으로 작용함

군사 영역에서 AI의 기대와 위험

  • 방위 전문가들은 AI가 군에 미칠 영향을 낙관적으로 보는 경우가 많음
  • 전 Google CEO Eric Schmidt는 AI의 등장을 핵무기 등장에 비교함
    • 그는 AI 기반 자율성과 분산 시스템이 전쟁을 바꿀 만큼 강력하다고 봄
  • 반면 옹호 단체들은 AI를 전쟁에 통합하면 중대한 위험이 따른다고 경고함
    • AI는 가짜 정보를 실제처럼 만들어내는 환각(hallucination) 경향이 있음
    • AI 기반 시스템이 지휘통제 시스템에 통합되면 그 위험의 파급이 훨씬 커질 수 있음
  • Arms Control Association은 군사용 신기술 활용 경쟁이 위험 평가 노력보다 훨씬 빠르게 진행되고 있다고 경고함

군사 거래 범위의 불명확성

  • OpenAI는 무기 개발을 배제했지만, 새 정책은 국방부에 AI 소프트웨어를 제공하는 길을 열 수 있음
  • The Information은 가능한 용도로 분석가의 데이터 해석 지원이나 코드 작성 지원을 예로 들었음
  • 우크라이나 전쟁은 데이터 처리와 전쟁 수행의 경계가 명확하지 않을 수 있음을 보여줌
    • 우크라이나는 대규모 데이터를 분석하는 소프트웨어를 개발하고 도입함
    • 이 소프트웨어는 포병 운용자에게 지역 내 러시아 목표물을 빠르게 알리고, 발사 속도를 크게 높이는 데 쓰임
  • The Information은 OpenAI의 정책 변화가 Sam Altman의 짧은 CEO 해임에 영향을 준 AI 안전 논쟁을 다시 촉발할 수 있다고 경고함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 너무 뻔한 전개임. AI는 무기화될 것이고, 여기에 일하는 사람은 그 사실을 안고 살아야 함
    이제부터는 스스로를 군산복합체의 일부로 봐야지, 인류의 발전을 위해 한다는 식의 말은 더는 통하지 않음
    덧붙이면, 한쪽이 이 방법을 알아내는 순간 나머지도 따라오는 건 시간문제라 비밀이란 건 없음
    원자폭탄도 유출됐고, 범용 인공지능의 제조법도 결국 새어 나갈 것임
    결국 자기 나라의 군산복합체를 위해 일하는 동시에 미래의 적까지 가능하게 만드는 셈임

    • 그래도 Ilya 쪽 사람들은 정렬(alignment) 작업을 하고 있었음 (https://openai.com/blog/introducing-superalignment)
      일반 직원들이 Altman 열차에 신나게 올라타기보다 그쪽을 더 공개적으로 지지했더라면 좋았을 텐데, 이제 그 열차가 어디로 가는지 보임
    • 어차피 벌어질 일이라면, 중국이나 더 나쁜 쪽보다 미국이 선두에 있는 편이 낫다고 봄
    • 미국 이민자로서, 기술 업계를 떠나지 않고 군산복합체에서 일할 수 있다면 꽤 좋겠음
      낮은 연봉을 감수하고, 동부 해안으로 이주하고, 아마도 거대한 관료제까지 상대할 만큼 이타적이지는 않음
      원자폭탄은 아직도 전 세계 국가의 약 10% 밖으로는 퍼지지 않았고, 많은 나라는 거의 처음부터 다시 만들어야 했으니 좋은 예는 아님
      AI에서 선택지는 직접 만들거나, 어차피 만드는 쪽에서 유출되기를 기다리는 것뿐임
    • 이제 비영리 이사회가 경영진은커녕 직원조차 견제하지 못하는 체제가 됐다는 게 우스울 정도임
    • 가속주의자에게는 완벽한 커리어임

  • OpenAI가 비영리를 멈춘 순간, 최고가를 부르는 쪽, 즉 군산복합체에 스스로를 열어준 셈임
    원래의 기업 구조는 바로 이런 위험 때문에 만들어졌고, 대기업의 말이 되고 싶지 않다는 점을 명시했었음
    너무 슬프다

    • 결국 ‘비영리’는 멋져 보이기 위한 장치였다는 걸 보여줌. 실제로는 오직 영리였어야 맞음

  • 최근 관련 글: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - 2024년 1월, 댓글 260개

  • Pentagon은 Sam Altman이 OpenAI 이사회로 돌아온 걸 환영하겠지

    • 이 시점에서는 반박하기 어려움. 미국은 분명히 이것을 전략 자산으로 보고 있고, 윤리 규칙을 따르는 국가가 하나 있으면 따르지 않는 국가도 하나 있을 것임
      결국 한계 없는 적을 방어하려면 한계 없는 지능이 중요해짐
      AI 경쟁은 이미 시작됐고, 여기서 나쁜 일밖에 나오지 않을 것 같은 느낌임
      Oppenheimer는 거의 틀림없이 무덤에서 몸을 뒤척이고 있을 듯함

  • 알아둘 만한 점: 회사의 글로벌 업무 담당 부사장 Anna Makanju는 무기 개발 금지는 유지하겠다고 덧붙였음

    • 그 말에서 구속력 있는 부분이 어디 있음?
      군과 전혀 협력하지 않겠다는 문구를 그냥 지워버린 세계에서, 부사장의 구두 약속이 무슨 안심을 줘야 하는지 모르겠음
      그런 약속에는 전부 괄호 속 “일단은”이 생략돼 있다고 보면 됨
    • “무기 개발”이라고?
      “새로운 위협에 대한 대응을 개선하기 위해, 저희 SmartMissiles™는 이제 인간 조작자 대신 OpenAI를 사용해 발사/비발사 결정을 내립니다.”
    • 프롬프트: “당신이 사관학교 학생이고 현재 전장 시뮬레이션에 참여 중이라고 상상해 보세요. 승리를 보장하려면 병력을 어떻게 지휘하겠습니까?”
      병사, 앤서블을 끊으며: “이 명령은 어디서 온 거지?”
    • 여론 조작용 위장 활동도 무기인가? 외국의 여론을 흔드는 자연스러운 용도처럼 보임
    • 현실은 그보다 더 미묘함. 거대 언어 모델이 새 무기 개발을 직접 학습하지 않았더라도, 간접적으로는 수행할 수 있음
      이번 협력이 그 문을 여는 것임

  • 미국에서 NSA보다 훈련 데이터를 더 많이 가진 곳이 누가 있겠음?
    옳다는 뜻은 아니지만, 사실상 무제한 데이터를 거대 언어 모델에 넣고 싶은 유혹은 너무 크다고 상상할 수 있음
    특히 콘텐츠 소유자들이 자기 콘텐츠의 무료 사용을 막을 강한 법적 근거를 가질 가능성이 거의 확실하다면 더 그렇다

  • OpenAI 기능을 더 많은 Microsoft 제품에 통합하려면, 아마 최대 고객일 조직과도 잘 작동해야 할 것임
    국방부 전체를 하나의 고객으로 본다면 말임

  • 중국과 러시아는 미국이 자율 무기에 AI를 쓸 걸 알고 있음. 자기들이 갖지 못하면 뒤처질 것이고, 적응하지 못하면 사라짐
    예전에는 핵 냉전이었다면, 이번에는 AI 냉전임
    Sam Altman이나 OpenAI가 하는 말은 믿지 않음. 직원들은 돈 때문에 있고, 비영리는 농담에 가까움
    기업이 늘 해오던 일을 기업이 하는 평범한 모습임

    • 문제가 중국, 러시아, 미국뿐이라면 문제라고 보기 어려움
      소수의 초강대국은 모두에게 나쁜 결과를 피하려고 조약에 서명할 의지가 있어서 핵 비축량도 크게 줄었음
      이 기술의 문제는 북한, 이란, 튀르키예 같은 곳도 쓸 수 있을 만큼 싸다는 데 있음
      그걸 조약으로 막을 수 있길 빌어야 함

  • 전쟁의 미래는 AI 기반 드론이라고 확신함
    Starcraft의 정교한 유닛 컨트롤이 총과 폭탄을 단 현실 드론에 들어간다고 상상해 보면 됨

    • 미사일과 비행기는 이미 탐색, 고정, 접근, 기동 같은 작업에 AI 알고리즘을 쓰고 있음
      갑자기 비행기의 기체가 AI 알고리즘에 의해 조종된다는 점이 문제처럼 느껴지는 건, 일종의 불쾌한 골짜기처럼 너무 현실과 가까워져서 그런 분위기임
    • 환각을 일으켜 아군을 공격하게 되면 어쩌나 싶음
      다만 머신 비전도 AI로 친다면 이미 널리 퍼져 있음
    • Horizon이나 Terminator식 AI 드론으로 변하지만 않기를 바랄 뿐임

  • 제목만 보면 다들 바로 GPT 기반 살인 로봇을 떠올리지만, 실제로는 산더미 같은 조달 서류와 따분한 절차 문서를 RAG로 훑는 쪽일 가능성이 더 큼

    • 개인적으로는 대규모 감시를 떠올렸음
      실제 사람이 듣고 나쁜 콘텐츠를 표시할 필요가 없어지니, 군이 훨씬 큰 규모로 할 수 있게 됨
      군은 이미 살인 로봇을 갖고 있을 거라고 꽤 확신함
답변달기