▲

Anthropic, 대표 안전 서약 철회

 (time.com)
7P by GN⁺ 9시간전 | ★ favorite | 댓글 2개
  • 인공지능 연구 기업 Anthropic이 자사 핵심 안전 정책인 Responsible Scaling Policy(RSP) 의 주요 서약을 철회함
  • 기존에는 안전 조치가 충분히 보장되지 않으면 AI 모델 훈련을 중단하겠다고 약속했으나, 새 정책에서는 이 조항이 삭제됨
  • 새 RSP는 투명성 강화와 경쟁사 수준 이상의 안전 노력을 약속하며, 위험이 심각할 경우 개발을 “지연”할 수 있다고 명시
  • 회사는 이번 변경이 시장 압력 때문이 아니라 정치·과학적 현실에 대한 대응이라고 설명함
  • 전문가들은 이번 조치가 AI 재앙 위험에 대한 사회적 대비 부족을 보여주는 신호라고 평가함

RSP(Responsible Scaling Policy) 변경 배경

  • Anthropic은 2023년, 안전 조치가 충분히 입증되지 않으면 AI 시스템 훈련을 하지 않겠다는 서약을 발표함
    • 이는 시장 경쟁보다 안전을 우선시하는 기업 이미지를 강화하는 핵심 정책이었음
  • 최근 회사는 RSP를 전면 개편하며, 사전 안전 보장 없이는 모델을 출시하지 않겠다는 약속을 철회함
  • Jared Kaplan(Chief Science Officer) 은 “AI 발전 속도가 너무 빠르기 때문에 일방적 약속은 현실적이지 않다”고 언급함

새 정책의 주요 내용

  • 새 RSP는 AI 안전 위험에 대한 투명성 확대를 포함
    • Anthropic 모델의 안전 테스트 결과를 추가 공개하고, 경쟁사 수준 이상의 안전 조치를 유지 또는 초과할 것을 명시
  • 회사가 AI 경쟁에서 선두에 있고 재앙적 위험이 크다고 판단될 경우 개발을 ‘지연’ 할 수 있음
  • 그러나 이전처럼 일정 수준 이상의 모델 훈련을 금지하는 명확한 제한선은 사라짐

정책 변경의 산업적 맥락

  • Anthropic은 최근 Claude 모델과 Claude Code의 성공으로 상업적 성과를 거두고 있음
    • 2026년 2월, 300억 달러 투자 유치, 기업가치 약 3,800억 달러, 연간 매출 성장률 10배 보고
  • 회사의 B2B 중심 비즈니스 모델은 OpenAI의 소비자 중심 전략보다 신뢰성이 높다는 평가를 받음
  • Kaplan은 이번 변화가 시장 압력 때문이 아니라 정치·과학 환경 변화에 따른 실용적 조정이라고 강조함

규제 및 과학적 한계

  • Anthropic은 RSP 도입 당시, 다른 기업들도 유사한 조치를 채택하길 기대했으나 그런 일은 일어나지 않음
  • 미국 연방 차원의 AI 규제 법안 부재, 트럼프 행정부의 규제 완화 기조, 국제 협력의 좌절이 이어짐
  • AI 평가 과학의 복잡성도 문제로 지적됨
    • 2025년, Anthropic은 자사 모델이 생물테러에 악용될 가능성을 배제할 수 없다고 발표했으나, 이를 입증할 과학적 근거는 부족했음

내부 논의와 결정 과정

  • 약 1년간 경영진은 새 환경에 맞는 RSP 개편 방안을 논의함
    • 핵심 논점은 AI 안전 연구를 위해서는 최전선 모델을 직접 개발해야 한다는 창립 원칙이었음
  • Kaplan에 따르면, CEO Dario Amodei는 “경쟁사가 계속 개발하는 상황에서 Anthropic만 멈추면 오히려 더 위험하다”고 판단함
  • 새 RSP 서문에는 “가장 약한 보호 조치를 가진 개발자가 속도를 결정하게 되면, 책임 있는 개발자는 안전 연구 능력을 잃게 된다”고 명시됨

외부 평가와 우려

  • Chris Painter(METR 정책 디렉터) 는 이번 변경이 이해 가능하지만, AI 재앙 위험에 대한 사회적 대비 부족을 드러낸다고 평가함
    • Anthropic이 “위험 평가와 완화 방법이 기술 발전 속도를 따라가지 못해 긴급 대응 모드(트리아지 모드) 로 전환했다”고 언급
  • Painter는 새 정책의 투명한 위험 보고와 안전 로드맵 공개는 긍정적으로 평가했으나,
    • 이전 RSP의 이진적 중단 기준(binary threshold) 이 사라져 위험이 서서히 증가하는 ‘개구리 끓이기 효과’ 가 발생할 수 있다고 우려함

향후 계획과 공개 약속

  • Anthropic은 새 RSP가 기존 정책의 핵심 장점을 유지한다고 설명함
    • 과거에는 모델 출시 제한이 안전 완화책 개발을 촉진하는 동기로 작용했음
    • 새 정책에서도 이 동기를 유지하기 위해 ‘Frontier Safety Roadmaps’ 를 정기적으로 공개할 예정
  • 또한 3~6개월마다 ‘Risk Reports’ 를 발행해
    • 모델의 능력, 위협 시나리오, 위험 완화 조치, 전체 위험 수준을 평가하는 내용을 포함할 계획
  • Kaplan은 “경쟁사들이 재앙적 위험에 대해 투명하게 대응한다면, Anthropic도 동등하거나 더 높은 수준의 안전 기준을 유지할 것”이라고 강조함
▲
tsboard 5시간전  [-]

앤트로픽이 아무리 고집을 부려도 결국 미국방부가 까라면 까야하는 것이겠죠. 결국에는 이렇게 될 수순이었던 건 아니었을까요.

답변달기
▲
GN⁺ 9시간전  [-]
Hacker News 의견들

  • Anthropic이 AI 모델 훈련 중단 약속을 철회한 이유를 “경쟁사들이 앞서가고 있어서”라고 밝힌 걸 보고, 결국 돈 때문임을 드러낸 것 같음
    “모두가 강아지를 걷어차고 있다면 우리도 해야 한다”는 식의 논리로 들림.
    사람들은 Anthropic이 ‘착한 회사’라고 믿었지만, 결국 다 똑같이 이익만을 좇는 존재임

    • Anthropic이 시장의 이성을 대표할 수는 없음. 그런 역할은 정부의 규제와 감시 체계가 해야 함
      하지만 현실은 대부분의 AI 기업이 ‘종이 위의 정부’ 아래에 있음
    • 사실 “이기는 것만 중요하다”는 건 거의 모든 산업의 공통된 현실임
      AI 기업만의 문제는 아니지만, 그렇다고 정당화될 수 있는 건 아님
    • 결국 돈이 전부라면, 나는 지갑으로 투표하기로 하고 Max 구독을 취소했음
    • 경쟁이 규제 없이 방치되면, 결국 모든 성공한 기업이 사기와 피해를 일으키게 됨
      그래서 안전, 환경, 반부패 규제가 반드시 필요함

  • AI 스타트업의 전형적인 사이클 같음
    “인류를 구하기 위해 해자를 쌓자” → “오픈소스 경쟁자를 규제하자” → “안전은 Q3 실적에 방해됨”

    • 결국 “안전보다 펜타곤의 예산이 더 중요하다”는 식의 선언으로 귀결됨
    • 시장 지배자가 된 후에는 자신들이 후원하는 비영리단체를 통해 정부 규제를 유도할 것임
    • 놀라운 건 이런 변화가 너무 빨리 일어났다는 점임
    • AI뿐 아니라 “open”이라는 단어를 내세우는 다른 기업들도 비슷함
      실제로는 닫혀 있으면서 “열려 있다”고 가스라이팅함
    • 정치인들도 규제를 좋아함. 특히 와인과 스테이크가 곁들여질 때 더 그렇다는 농담 섞인 비판임

  • 예전에 Anthropic에서 일했는데, Jared Kaplan 같은 사람들은 진심으로 안전 연구와 프런티어 기술의 균형을 고민하는 사람들이었음
    하지만 이번 결정은 실망스러움. 나는 ‘Responsible Scaling Policy’가 이런 상황에서도 지켜질 실질적 약속이라고 믿었음
    그 약속이 Anthropic을 “가장 덜 위험한 연구소”로 보이게 했는데, 이제 그 신호가 약해졌음
    앞으로는 원칙보다 자리 유지가 우선될까 걱정됨

    • “가치에 따라 움직이길 바란다”는 말은 너무 순진한 기대일 수 있음
      그래도 가치가 남아 있다면, 완전히 가치가 없는 연구소들 사이에서라도 영향력을 행사하는 게 낫다고 생각함
    • RSU(주식보상)를 포기하지 않는다면, 경영진에게도 같은 걸 기대할 수 없음
      도덕적 책임은 우리 모두가 나눠야 함
    • 서약은 법적 구속력은 없지만, 시장에 보내는 신호로서 의미가 있음
      그 신호를 스스로 철회했다는 건, 이제 다른 시장을 향해 움직이겠다는 뜻임
    • 작년에 Anthropic 면접을 봤는데, 윤리 쇼처럼 느껴졌음
      지원자에게 AI 안전에 대한 에세이를 쓰게 하고, 모두가 “세상을 구한다”는 연극을 함
      결국 지금처럼 돈이 걸리자 아무도 입을 열지 않음
    • 이런 원칙은 결국 정부 차원에서만 유지될 수 있음
      기업은 구조적으로 이윤 극대화라는 본능을 벗어날 수 없기 때문임

  • 이번 결정은 Mozilla가 DRM을 받아들였던 순간과 비슷함
    완벽하진 않지만, 그래도 Anthropic은 최소한 책임감을 가지려는 시도를 하고 있음
    OpenAI와 비교하면, 적어도 아직은 신뢰할 여지가 있음

  • 기사 제목이 과장되어 있음. 이번 논란은 Pentagon과의 협상이 아니라, Anthropic이 공개한 Responsible Scaling Policy 3.0에 관한 내용임

    • 물론 두 사안이 완전히 무관하다고 단정할 수는 없음
      오히려 예방적 조치일 가능성도 있음
    • 오히려 Pentagon 이슈보다 이번 정책 변경이 더 중대한 변화라고 생각함

  • 정부의 압박이 있었는데, 기사에서는 전혀 언급하지 않음

    • 관련 보도에 따르면, Hegseth와 Anthropic CEO Dario Amodei의 회동이 확인되었음
    • 그래서 독점 보도를 얻은 것 같다는 의견도 있음
    • 일부는 이를 여론 조작(Consent manufacturing) 으로 봄
    • 기사에 Hegseth 이름조차 없다는 점을 비판함

  • “처음엔 안전 검증 없이 모델을 출시했을 때 아무 말도 하지 않았다…”로 시작하는 글은 경고의 우화처럼 들림
    결국 아무도 대비하지 않았고, 문제가 터졌을 때는 늦었다는 이야기임

    • 이런 집단적 무시는 인간 사회의 고질적인 문제임
    • 경고는 충분했지만, 사람들은 탐욕과 단기적 사고에 갇혀 있었음
    • HN식으로 고쳐 말하자면, 결국 우리 모두가 그 시스템의 공범이었음
    • 약간 터미네이터 서사의 도입부처럼 들린다는 반응도 있음
    • 하지만 현실적으로는 AI가 통제 불능이 되는 시나리오는 아직 멀었음
      진짜 문제는 기술보다 정치와 문화의 영역에 있음

  • 이번 시점에 안전 서약을 철회한 건 의미심장함
    이런 기업들은 윤리적 코드를 따르다가도 이익이 위협받으면 바로 버림
    결국 목표는 화이트칼라 노동의 가치 절하임
    과연 이들이 그 전환을 윤리적으로 이끌까, 아니면 부를 주주에게 이전할까

    • 이번 타이밍은 정부 압박의 신호탄일 수도 있음
    • 하지만 중산층이 무너지면, 결국 소비자 기반도 사라짐
      뱀 스스로 꼬리를 먹는 꼴임
    • “Don’t be evil” 같은 구호는 결국 이익을 위한 포장일 뿐임
      기업의 본질은 이윤 추구이며, 그 자체는 나쁘지 않지만 도덕적 제스처가 위선적으로 느껴짐

  • Google의 “Don’t be evil”은 15년을 버텼지만, Anthropic의 Responsible Scaling Policy는 2년 반 만에 사라짐
    AI 이상주의의 반감기가 점점 짧아지고 있음

  • Anthropic의 변화가 아쉽지만, 현실적으로는 안전을 위해서라도 경쟁에서 너무 뒤처지면 안 됨
    지금은 실용주의가 필요한 시점임. 나중에 Anthropic이 “악해질” 수도 있지만, 지금은 그래도 가장 안전한 쪽임

    • 왜 그렇게 Anthropic을 신뢰하냐는 질문도 있었음
      CEO가 전쟁용 AI 사용을 거부했다는 점은 긍정적으로 봄
    • 하지만 이런 변화가 이미 악해지는 신호일 수도 있음
      너무 늦기 전에 경각심을 가져야 함
    • 세상은 실용주의자들 때문에 망가진다는 냉소적인 반응도 있었음
답변달기