▲

국방부와의 협약

 (openai.com)
1P by GN⁺ 5시간전 | ★ favorite | 댓글 1개
  • OpenAI는 미국 국방부(Pentagon) 와 협약을 체결해 기밀 환경에서 AI 시스템을 배포하기로 함
  • 협약에는 대규모 국내 감시, 자율 무기 지휘, 고위험 자동 의사결정에 OpenAI 기술을 사용하지 않는다는 세 가지 금지선(red lines) 이 포함됨
  • 배포는 클라우드 전용 구조로 이루어지며, OpenAI의 안전 스택과 승인된 인력이 직접 관리하는 다층적 보호 체계를 유지함
  • 계약 조항은 자율 무기 통제, 정보 수집, 사생활 보호 관련 미국 법률과 국방부 지침을 명시적으로 준수하도록 규정함
  • OpenAI는 이번 협약이 민주적 통제와 안전성을 보장하는 새로운 기준이 될 것이라 강조함

협약의 주요 내용

  • OpenAI는 국방부(Department of War) 와 기밀 환경에서의 AI 시스템 배포에 합의했다고 발표

    • 협약은 모든 AI 기업에도 동일한 조건으로 제공되길 요청했다고 명시
    • OpenAI는 이번 협약이 이전의 어떤 기밀 AI 배포 계약보다 강력한 안전장치를 포함한다고 설명

  • OpenAI가 설정한 세 가지 금지선(red lines)

    • OpenAI 기술을 대규모 국내 감시에 사용하지 않음
    • OpenAI 기술을 자율 무기 시스템의 직접 지휘에 사용하지 않음
    • OpenAI 기술을 사회 신용 시스템 등 고위험 자동 의사결정에 사용하지 않음

  • 다른 AI 연구소들이 사용 정책 중심의 완화된 안전 조치를 취한 것과 달리, OpenAI는 다층적 보호 구조를 유지한다고 강조

    • 클라우드 기반 배포, OpenAI의 안전 스택 유지, 승인된 인력의 직접 개입, 강력한 계약 조항을 포함

배포 구조 및 계약 조항

  • 배포 구조(Deployment architecture)

    • 클라우드 전용 배포로, OpenAI가 직접 운영하는 안전 스택을 포함
    • 비안전 모델이나 엣지 디바이스 배포는 허용되지 않음
    • OpenAI는 분류기(classifier) 실행 및 업데이트를 통해 금지선 위반 여부를 독립적으로 검증 가능

  • 계약 조항(Contract)

    • AI 시스템은 법률, 규정, 국방부 정책에 따라 인간 통제 하에서만 자율 무기 지휘 가능
    • 고위험 자동 의사결정은 반드시 인간 승인자의 판단을 거쳐야 함
    • 정보 활동 시 개인 정보 처리는 미국 수정헌법 4조, 국가안보법, 외국정보감시법(FISA) 등 관련 법률을 준수해야 함
    • 미국 내 개인의 무제한 감시 및 국내 법 집행 목적 사용은 금지됨

인력 및 운영 관리

  • OpenAI는 보안 인가를 받은 엔지니어와 안전·정렬 연구자를 정부 현장에 배치
    • 이들은 운영 과정에 직접 참여하며 시스템의 안전성을 지속적으로 검증

협약 체결 배경

  • OpenAI는 미군이 강력한 AI 모델을 필요로 한다는 점을 인정하면서도, 기술적 안전장치가 완비될 때까지 계약을 미뤄왔다고 설명
    • 핵심 안전 기능을 제거하지 않고도 국방부 지원이 가능함을 강조
  • 또한 AI 연구소와 정부 간 긴장 완화를 위해 이번 협약을 추진했으며, Anthropic 등 다른 연구소에도 동일 조건이 적용되길 요청

Anthropic과의 비교

  • OpenAI는 자사 계약이 Anthropic의 초기 계약보다 더 강력한 안전 보장을 제공한다고 언급
    • 클라우드 전용 배포, OpenAI 안전 스택 유지, 승인 인력 개입으로 금지선이 더 확실히 지켜진다고 설명
    • Anthropic이 계약에 이르지 못한 이유는 알 수 없다고 명시

주요 질의응답(FAQ)

  • 자율 무기 사용 가능성: 계약, 법률, 정책, 클라우드 구조상 불가능
  • 대규모 감시 가능성: 법률과 계약 조항상 금지, OpenAI 인력이 감시
  • 안전 스택 없는 모델 배포 여부: 없음, 모든 배포는 안전 스택 포함
  • 정부가 계약을 위반할 경우: OpenAI는 계약 해지 가능
  • 법률 변경 시 적용 여부: 계약은 현재 기준의 법률과 정책에 고정, 이후 변경돼도 현행 기준 유지

Anthropic의 주장에 대한 대응

  • Anthropic이 제시한 두 가지 금지선(감시, 자율 무기)에 대해 OpenAI는 자사 계약이 이를 명확히 보호한다고 설명
    • 대규모 국내 감시는 법적으로 불법이며, 계약에 명시적으로 제외
    • 완전 자율 무기는 엣지 배포가 필요하므로 클라우드 전용 구조에서는 불가능
  • OpenAI는 추가적인 안전 스택과 기술 인력 개입을 통해 다층적 보호 체계를 강화했다고 명시
▲
GN⁺ 5시간전  [-]
Hacker News 의견들

  • 내 해석으로는 OpenAI와 국방부의 계약이 미국 시민에 대한 대규모 감시를 금지하는 것처럼 보이지만, 실제로는 이미 법으로 금지된 범위 내에서만 제한된다는 의미임
    즉, 국방부가 민간 기업으로부터 위치나 금융 거래 같은 데이터를 대량으로 사들여 OpenAI의 도구로 분석하는 것도 가능하다는 뜻으로 읽힘
    Anthropic의 계약에는 이런 조항이 없었던 것으로 알고 있음
    만약 이게 사실이라면 끔찍한 일임. 하지만 최근에 내가 성급한 결론을 내린 적이 많아서, 이번에는 판단을 유보하고 있음
    (참고로 나는 전 OpenAI 직원이자 현재 주주임)

    • OpenAI는 더 이상 윤리를 논할 자격이 없는 회사처럼 보임
      예전 비영리 시절과 달리, 지금은 개인정보 정책을 두 번이나 바꿔서 내 데이터를 더 많이 수집하고 있음
      설정을 끄는 과정도 복잡하고, 다크 패턴이 가득함. 데이터 다운로드 기능도 사실상 작동하지 않음
    • 이건 말 그대로 “법에 이미 있는 제한만 따른다”는 의미임
      Dario가 말한 ‘weasel language’(회피성 표현)의 전형임
    • 결국 문제는 Third Party Doctrine(제3자 원칙)임
      이 원칙이 사라지면 이런 악몽 같은 시나리오 대부분이 사라질 것임
    • 정부의 NSA식 감시가 항상 “합법적”이라는 메모와 함께 진행된다는 점을 사람들은 종종 잊음
    • 문장 자체가 너무 혼란스러움
      “Shall not be used as consistent with these authorities”라는 표현은 문법적으로도 이상함
      변호사들이 일부러 모호하게 써서 PR용 해석의 여지를 남긴 것 같음

  • “The Department of War may use the AI System for all lawful purposes…”라는 문구는, 결국 법이 허용하는 한 모든 용도에 사용 가능하다는 뜻임
    Anthropic은 자체적인 도덕 기준을 적용하려 했지만, OpenAI는 정부의 요구를 그대로 수용했음
    개인적으로 두 입장 모두 이해하지만, 정부가 Anthropic에 보인 태도는 악의적이고 미국의 이익에도 해로웠음

    • 한쪽 계약은 “터미네이터를 만들면 안 된다”이고, 다른 쪽은 “법무팀이 괜찮다고 하면 터미네이터를 만들어도 된다”임. 큰 차이임
    • “합법적”이라는 단어가 모든 걸 떠받치고 있음
      정부가 이미 불법적인 일을 공공연히 하는데, 비밀리에 무슨 일이 벌어질지는 아무도 모름
      결국 정부를 신뢰할 수 없다는 도덕적 입장이 Anthropic의 핵심이었음
    • 문구를 자세히 보면, 국방부가 ‘합법적’이라고 판단하는 한 어떤 용도로도 모델을 쓸 수 있음
      규정을 바꾸는 것도 그들 마음임
      Sam Altman은 순진하거나, 아니면 우리를 그렇게 생각하게 만들고 있음
    • “OpenAI 기술은 자율 무기 시스템에 사용하지 않는다”는 기존 입장과도 일관되지 않음
    • 전쟁 중 조난된 전투원에게 사격하라고 추천하는 상황을 상상해보면 됨
      그건 명백한 전쟁 범죄인데, 누가 ‘합법성’을 판단할 것인가? OpenAI인가, 국방장관인가, 아니면 판사인가?

  • “법적으로 허용된 모든 목적”이라는 표현은, 법을 만드는 주체가 스스로를 제한하지 않는다는 뜻임

    • 대규모 감시의 경우 헌법 개정까지 필요하므로, 단순히 법을 바꾸는 것보다 더 복잡함
      하지만 불법임을 알면서 정부를 돕는다면 공모죄에 해당함. 정부는 면책될 수 있어도 OpenAI는 아닐 수 있음
    • 게다가 정부는 비밀리에 규칙을 만들고 집행할 수 있음
    • “유죄 판결받은 사기꾼의 말을 믿을 수 없다는 뜻인가?”라는 냉소적인 반응도 있었음

  • 나는 Anthropic이 완전히 도덕적 성인군자라고 생각하지 않음
    ChatGPT도 마찬가지임
    하지만 지금 시점에서 ChatGPT를 해지하고 Claude를 쓰는 건 내가 전달하고 싶은 메시지를 보여주는 행동임

    • 이런 이동의 의지를 보여주는 게 중요함
      사용자들이 논란이 생기면 바로 떠난다는 걸 알면, 기업들도 조심하게 됨
    • 게다가 지금은 Claude가 ChatGPT보다 훨씬 성능이 좋음
    • Claude를 일반 검색 대체용으로 써보려 함. 예를 들어 레시피나 제품 리뷰 같은 간단한 질문용으로 괜찮은지 궁금함
    • 장기적으로는 오픈 가중치 모델이 가장 뛰어날 거라 생각함
      Anthropic이 이번에 굴하지 않은 건 대단한 일임
      GPU가 부족하긴 하지만, 나도 ChatGPT를 끊고 Claude나 Kimi로 옮길 예정임

  • 결국 직원이 도덕적 입장을 취해도, 결정권이 없으면 무의미함
    유일한 힘은 ‘퇴사’임

    • 하지만 집단 퇴사가 일어나면 그건 엄청난 힘이 됨
    • 사실 이런 상황을 막기 위해 노조가 존재함
      핵심 엔지니어들이 단체로 멈추면 Sam Altman 혼자서는 회사를 유지할 수 없음
    • OpenAI 직원들은 2년 전 Sam Altman이 해임됐을 때 그를 복귀시킬 힘이 있었음
    • 직원들이 단결하면 회사를 멈출 수도 있음. 하지만 OpenAI 같은 곳에서 그런 연대 문화를 기대하긴 어려움

  • OpenAI는 “AI의 도덕적 책임을 법에 위임하자”는 식으로 도덕적 책임 회피를 하고 있음

  • 순자산이 200만 달러가 넘는 OpenAI 직원이 여전히 남아 있다면, 도덕적 나침반이 고장 난 것임
    이제 Palantir나 xAI에서 일하는 것과 다를 바 없음

    • “돈을 베개 삼아 울겠다, 물론 윤리적으로 말이지”라는 조롱 섞인 답글도 있었음

  • “모든 합법적 목적에 사용할 수 있다”는 문구는 결국 부족한 규제를 근거로 국방부가 원하던 걸 얻었다는 뜻임

  • 이 블로그 글은 상황을 더 나쁘게 보이게 함
    Anthropic이 거부했던 논란의 여지가 있는 용도에 대해 명확히 선을 긋지 않음
    단지 “합법적이고 테스트된 경우만 가능”이라고만 함
    마치 1930년대 IBM이 독일에 기계 팔고 “우린 몰랐다”고 했던 것처럼 느껴짐
    결국 군이 원하던 건 자율 무기와 대규모 감시, 그리고 그 외에도 법적으로는 합법이지만 도덕적으로 회색지대인 용도들임

답변달기