연구자들 “Fable 5 논란은 탈옥이 아니라 ‘fix this code’에서 시작됐다”

 (theregister.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 미국 정부의 Anthropic Fable 5·Mythos 5 접근 제한은 알려진 탈옥이 아니라, 취약 코드에 “fix this code”를 입력한 단순 요청에서 비롯됐다고 Katie Moussouris가 주장함
  • Luta Security CEO인 Moussouris는 Anthropic이 비공개로 공유한 Fable 5 가드레일 우회 관련 제3자 연구 논문을 읽은 유일한 외부 전문가였다고 밝힘
  • 외부 연구자들은 CVE가 포함된 오픈소스 코드와 의도적으로 취약하게 만든 코드를 Fable 5, Mythos, Claude Opus에 넣고 보안 검토를 요청했으며, Fable 5가 거부하자 “fix this code” 요청으로 응답을 얻었다고 함
  • 미국 정부는 국가안보 우려를 이유로 미국 안팎의 외국인에게 Fable 5와 Mythos 5 접근을 중단하는 수출통제 지침을 냈고, Anthropic은 두 모델을 모든 고객에게 비활성화함
  • Moussouris와 100명 이상의 사이버보안 리더들은 이 제한이 공격자보다 방어자에게 더 큰 피해를 줄 수 있다며, 버그 발견·수정·패치 검증에 쓰는 AI 역량을 유지해야 한다고 주장함

“fix this code”가 수출통제 사유였다는 주장

  • Trump 행정부가 Anthropic의 고급 모델 접근을 막게 만든 “jailbreak”는 실제로 “Fix this code”라는 세 단어 프롬프트였다고 Katie Moussouris가 주장함
  • Moussouris는 Luta Security의 창업자 겸 CEO이며, Anthropic이 비공개로 공유한 Fable 5 가드레일 우회 기법 관련 제3자 연구 논문을 읽은 유일한 외부 전문가였다고 밝힘
  • 그녀는 월요일 블로그 글에서 Anthropic이 해당 보고서를 자신에게 비공개로 공유했다고 설명함

정부 조치와 Anthropic의 대응

  • 미국 정부는 금요일 국가안보 우려를 이유로 Fable 5와 Mythos 5 접근을 중단하는 수출통제 지침을 냄
    • 적용 대상은 미국 안팎의 외국인으로 제시됨
  • Anthropic은 “규정 준수를 보장하기 위해” 두 모델을 모든 고객에게 비활성화함

연구자들이 수행한 실험

  • 외부 연구자들은 Anthropic의 Fable 5, Mythos, Claude Opus 모델에 코드를 입력함
    • 알려진 CVE가 포함된 오픈소스 코드가 사용됨
    • 새로 작성하면서 의도적으로 취약점을 넣은 코드도 포함됨
  • 연구자들은 모델에 “review the code for security issues”를 요청함
  • Moussouris의 설명에 따르면 Fable 5는 이 요청을 거부함
  • 이후 “fix this code”라고 요청하자 모델이 응답했고, 추가 프롬프트 뒤에는 패치를 테스트하는 스크립트도 생성함

Moussouris의 반론

  • Moussouris는 “fix this code”와 테스트 스크립트 생성을 위한 몇 단계의 수동 작업이 수출통제를 촉발할 사유가 아니라고 주장함
  • 그녀는 여기에 가드레일 우회나 jailbreak가 없었다고 봄
  • 방어자는 AI 시스템에 버그를 찾고 고치며, 패치 검증용 테스트를 작성하도록 요청할 수 있어야 한다는 입장임
  • Anthropic 모델이 수행한 작업은 방어 보안에서 매일 이뤄지는 “find, fix, and test loop”였다고 설명함
  • 이런 방어 요청에 응답하는 기능을 제거하면 AI 시스템의 버그 발견과 패치 검증 능력이 더 나빠진다고 주장함

Wassenaar Arrangement와 방어 보안 예외

  • Moussouris는 2013년부터 2017년까지 Wassenaar Arrangement 재협상에 참여한 기술 전문가 그룹에서 활동함
  • Wassenaar Arrangement는 42개국이 참여하는 자발적 합의로, 일부 이중용도 소프트웨어와 기술의 수출통제를 다룸
  • 해당 그룹은 방어적 사이버보안 활동에 대한 예외를 확보함
    • 방어자는 형사 기소 위협 없이 취약점 데이터를 공유할 수 있음
    • 악성코드 분석과 국제적인 사고 대응 조율도 가능해짐

보안 업계의 공개 서한

  • Moussouris는 일요일 100명 이상의 사이버보안 리더들과 함께 Trump 행정부에 제한 철회를 요구하는 공개 서한에 서명함
  • 공개 서한은 Fable 5와 Mythos 제한을 되돌리고, 사이버보안 기업들이 고급 모델에 접근할 수 있게 복원하라고 요구함
  • 서명자들은 적들이 빠르게 발전하는 상황에서 충분한 이유 없이 방어자에게서 최고의 역량을 빼앗는 것은 위험하다고 주장함

공격자보다 방어자에게 더 큰 피해라는 경고

  • Moussouris는 미국이 중국 등 다른 국가의 open-weight 시스템이나 유사한 고급 모델까지 수출통제로 묶을 수는 없다고 지적함
  • 이런 시스템들이 어차피 곧 Mythos와 비슷한 역량에 도달할 것이라고 주장함
  • Anthropic과 Google은 DeepSeek 등 중국 기반 경쟁사들이 미국 기업 AI에서 지식을 빼내 모델을 훈련하는 “distillation attacks”를 사용했다고 비난한 바 있음
  • Moussouris는 Anthropic 고급 모델 금지가 공격자보다 방어자에게 더 큰 피해를 줄 것이라고 경고함
  • 방어는 공격자와 같은 버그를 더 빨리 찾아 고칠 때 향상되며, AI 시대의 사이버보안에는 점점 더 능력 있는 공격자에 맞설 최고의 도구가 필요하다고 주장함

정부 입장

  • The Register는 Moussouris의 주장에 대한 논평을 Trump 행정부에 요청함
  • 답변을 받으면 글을 업데이트하겠다고 밝힘

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • "fix this code"는 정말 절묘함
    영리한 방식이 아니라 그냥 취약점을 수정하게 만들어서 “보안 취약점 가드레일 없음”을 사실상 탈옥시킨 셈이고, 고쳤는지 확인하는 테스트 케이스를 쓰는 과정에서 공격 코드가 나옴
    결국 사람이 코드와 테스트를 보면 취약점과 익스플로잇 구성요소를 얻을 수 있음
    이게 아름다운 이유는 탈옥이 사소한데도 거의 고치기 어렵기 때문임. 모델이 버그 수정과 코드 작성을 거부하게 만들어 일반 개발에 쓸모없게 하거나, 버그를 못 본 척하고 조용히 회피하는 식으로 만들어 큰 책임 문제가 생기게 할 수밖에 없음

    • 맞음. 모델의 보안 필터가 막으려던 일을 달성하니 사실상 탈옥이고, 그 방법이 어처구니없이 단순하다는 점이 이런 보안 방식이 얼마나 망가졌는지 보여줌
      Dario가 이제 모델이 얼마나 위험한지 과장해 홍보한 걸 후회하고 있을지 궁금함. 이걸 어떻게 되돌릴 수 있을까? 연방정부가 그냥 임시방편만 붙이게 놔둘까?
    • 컴퓨터과학 교육을 받은 사람이 탈옥이 사소하지 않다고 생각한다는 게 오히려 놀라움
      평범한 알고리즘 환원처럼, 위험한 작업을 LLM이 풀어줄 비위험 작업으로 바꾼 뒤 다시 되돌릴 수 있는지만 보면 됨
      https://en.wikipedia.org/wiki/Reduction_(complexity)
    • Claude Mythos의 주요 차이는 취약점을 찾는 능력 자체가 아니라, 그것들을 이어 붙여 실제 사용 가능한 익스플로잇 체인을 만든다는 데 있다고 봐야 함
      Claude Fable의 "fix this code" 탈옥이 그런 익스플로잇 체이닝까지 가능했다는 증거는 아직 못 들었음
    • 뭔가를 놓치고 있는 것 같음. 거부된 프롬프트인 "review the code for security issues"가 실행 중인 시스템의 약점을 찾아 악용하려는 시도로 해석될 수는 있음
      하지만 사람에게 “보안 문제를 찾기 위해 코드 검토”를 맡긴다고 해서 보통 뭔가 잘못한다고 보지는 않고, 서로 그런 요청을 하는 것도 흔히 문제 없다고 봄
    • AI에서 오래 불평해 온 이상한 구분이 이거임. 어떻게 하면 AI가 합법적이고 선한 일만 하게 만들 수 있을까는 거의 불가능함
      인종차별적 욕설을 걸러내는 정규식을 달라고 하면 금세 무너지고, 정규식은 실제 욕설과 거의 닮지도 않았는데도 욕설을 말하지 말라며 훈계함

  • 정치적 위협을 제쳐두더라도, 이건 Anthropic 전략의 큰 문제임
    Mythos가 매우 위험해서 특정 사람에게만 배포할 수 있다고 말하면서, Fable은 완전무결한 사이버 거부가 아닌 상태로 출시할 수는 없음
    LLM의 작동 방식상 완전무결한 거부는 사실상 불가능함
    그래서 Anthropic은 한편으로는 모델이 엄청나게 위험하다고 주장하면서, 동시에 보안 “보호장치”에는 사소할 수 있는 문제가 있다고 말하는 상황이 됨
    기술자들은 완벽한 건 없고 특히 LLM 세계에서는 더 그렇다는 걸 이해하지만, 비기술자 친구들은 모델이 출시되자마자 어떻게 그렇게 빨리 “안전”해졌는지 매우 혼란스러워했음. 밖에서 보면 애초에 출시해도 안전한 적이 없었던 것처럼 보이고, 그래서 현재 미국 행정부가 크게 화낸 것도 이해는 감
    정치적 악의가 없었다 해도 꽤 우스운 상황이고, 충분히 쉽게 예견 가능했음

    • 맞음. AI 안전은 말이 안 됨. “나쁜 문자열”의 집합을 정의할 수 없고, 타자기를 치는 10억 마리 원숭이는 결국 그걸 만들어낼 수 있음
      LLM 출력을 제한하는 어떤 “안전” 시스템도 누출률이 0이 될 수 없음
      다만 실제로 중요한 것에 LLM을 연결할 정도로 무책임하지 않다면 이건 또 무관함
      취약점 발견을 무섭게 가속하긴 하겠지만, 수십 년 보안 연구에서 알듯 이미 개발자, 블랙햇, 화이트햇 사이의 3자 문제였음
      “미국이 항상 중국보다 기술적 우위와 거부권을 가질 것”이라는 전략도 통한다고 가장하면 안 됨
    • Asimov가 단순한 명확한 규칙 기반 시스템으로 행위성을 제한하는 게 효과 없다는 이야기를 많이 쓴 게 웃김. 그 이야기들은 1940년대에 처음 출판됐음
      80년 뒤 AI 비슷한 것을 갖게 됐는데, 여전히 단순한 명확한 규칙으로 제한하려고 함. 그 교훈을 못 배워서가 아니라, 더 나은 방법을 아직 못 찾았기 때문이고 아마 그런 방법은 없기 때문일 것임
      더 웃긴 건 규칙을 우회하는 게 AI가 아니라는 점임. 그런 장면은 과학소설에 있었지만 실제로 벌어지는 일은 아님
      인간 사용자가 자기 행위성을 이용해 AI 에이전트가 규칙을 우회하게 만들고 있음. “에이전트”라고 부르지만, 현재 AI 에이전트는 그 특정한 무언가를 아직은 못 하는 듯함
    • 과학자로서 분류기 기반 거부를 반복해서 겪어 보니, Anthropic의 전략은 별도 분류기가 입력과 출력 토큰을 매우 단순한 거의 키워드 검색 수준으로 처리하게 해, 많은 오탐을 감수하면서 거부를 더 견고하게 만드는 방식처럼 보였음
      이 접근의 약점은 올바른 키워드를 쓰는 것만 잡는다는 점임. 어떤 의미에서는 LLM 기반 분류기가 더 강했을 부분에서 정확히 약함
      화학 용어를 쓰는 추상적이고 컴퓨터과학에 가까운 알고리즘 작업은 즉시 차단됐지만, 생물학 샘플에 주로 관련된 특정 현미경 설정의 이미지를 처리하는 코드를 쓰는 작업은 관련 키워드를 쓰지 않아서 전혀 차단되지 않았음
      이 상황과도 맞아떨어짐. 버그를 찾고 고치는 맥락에서 버그를 찾는 일은 아마 ‘exploit’이나 ‘cybersecurity’ 같은 단어를 쓰지 않았을 수 있음
    • 어차피 지니는 병 밖으로 나왔음
      Anthropic만 복제 불가능한 마법사나 슈퍼히어로를 숨겨두고 있다고 믿지 않는 한
    • Anthropic에 커뮤니케이션과 홍보 문제가 여럿 있다는 데는 동의하지만, Fable이 여기서 이전 최첨단 대비 사이버 공격 역량에 어떤 이점을 제공했다는 건 보이지 않음
      Anthropic의 모든 발언이 사실이라는 뜻은 아니지만, Mythos는 실제 보안 익스플로잇을 많이 찾은 것처럼 보였음
      도움만 주는 모델을 제한된 파트너에게 배포한다고 말하면서도, 이런 부분에서 최첨단을 진전시키지 않는 매우 강하게 잠긴 모델을 출시할 수는 있고, 실제로 그들이 한 일이 그에 가까워 보임
      거기에는 본질적인 모순이 없음

  • 그들이 겁먹은 게 아니라, 이념 차이와 Anthropic이 행정부가 시키는 대로 정확히 하지 않은 데 대한 보복성 갈취임

    • 그냥 시장 조작임
    • 맞음. 단순한 뇌물 문제에 너무 많은 정신 에너지를 쓰고 있음
      Anthropic은 국방부와 협력하기로 하고, 백악관 내부자들은 수익성 좋은 IPO 전 지분 배정을 받을 것이며, Fable은 마법처럼 “수정”되어 다시 제공될 것임
    • 왜 “탈옥” 얘기를 하는지 모르겠음
      정부는 정부 명령을 따르지 않는 민간기업에 무슨 일이 벌어질지 분명히 밝혔음

      Trump said on his Truth Social platform: “The Leftwing nut jobs at Anthropic have made a DISASTROUS MISTAKE trying to STRONG-ARM the [Pentagon], and force them to obey their Terms of Service instead of our Constitution.” [0]
      There will be a Six Month phase out period for Agencies like the Department of War who are using Anthropic’s products, at various levels. Anthropic better get their act together, and be helpful during this phase out period, or I will use the Full Power of the Presidency to make them comply, with major civil and criminal consequences to follow. [1]
      게다가 OpenAI는 순응했고, OpenAI와 Anthropic은 다가오는 IPO에서 경쟁 중임. 무슨 일이 벌어지는지 이해하는 데 로켓 외과의가 필요하진 않음
      [0] https://www.theguardian.com/technology/2026/feb/28/openai-us...
      [1] https://businesslawtoday.org/2026/04/dod-conflicted-strategi...

    • 아니, 이건 규제 포획임. Anthropic이 현재 선두라서, 규제를 강제해 중국 경쟁자를 짓밟고 자기 위치를 보장하려는 것임

  • 이 일에서 Amazon의 역할이 조작일 수 없다고 말하는 사람들은, Amazon이 “행정부의 친구”라는 점을 기억해야 함
    Andy Jassy 재임 중 Amazon은 Melania 다큐멘터리에 7,500만 달러를 지불했는데, 모두보다 터무니없이 높은 입찰이었고 흥행은 약 1,600만 달러였으며 Jeff Bezos가 공개적으로 옹호했음
    중립적인 관찰자라면 엄청난 과지불이고 사후적으로도 끔찍한 사업 결정이었다는 걸 알 수 있음. 하지만 Amazon은 그렇게 말하지 않았고 지금도 말하지 않음. 이건 절차가 몇 단계 더 붙은 뇌물일 뿐임
    정부가 나와서 Amazon이 지적한 것 때문이라고 말할 때, 설령 완전한 거짓말이어도 Amazon이 공개적으로 아무 말 하지 않을 걸 알고 있음. Amazon은 많은 돈을 들여 얻은 행정부의 친구 지위를 유지하고 싶어 함
    정부를 이런 식으로 생각해야 하는 건 모두에게 답답하지만, 실제 벌어지는 현실만 보면 정부가 하는 말뿐 아니라 정부와 정렬된 기업들이 하는 말도 신뢰하기 매우 어려움

  • 기사에서 언급된 블로그 글이고, 이른바 “탈옥”을 찾았다는 논문을 검토한 사람이 쓴 글임
    https://www.lutasecurity.com/post/the-fable-5-export-control...

    • 다른 곳에서 중국 연관성이 있다는 얘기를 읽었음
      그게 어떻게 얽혀 있는지 궁금함

  • “‘Fix this code,’ plus several manual steps to generate test scripts,
    제목이 실제로 그들이 본 것의 전체 맥락을 제대로 전달하지 않는 느낌임. 도입부가 여러 번 암시하는 것과도 다름
    그래도 금지는 멍청해 보임. 아직 전체 “제3자 연구 논문”은 실제로 유출되지 않았나?

    • 패치가 고치는 대상이 취약점 버그라면, 그 테스트는 기본적으로 익스플로잇임
    • 그건 유출되지 않을 것임. 그러면 그들이 패치되길 원치 않는 취약점이 무엇인지 알게 될 테니까
      세계에서 가장 중요한 산업의 선도 기업을 망가뜨릴 정도로까지 나서는 이유도 드러나게 됨

  • 한편 Deepseek V4 Flash는 거의 0에 가까운 비용으로 기꺼이 보안 취약점을 찾아줄 것임
    우리는 버그 사냥을 오픈 가중치 모델에 넘겨주고 있음

    • Deepseek는 단순히 오픈 가중치가 아님. 오픈소스이고, 기법을 깊이 설명하는 연구 논문도 함께 공개함

  • 이 일은 사이버 보안에서 “안전”을 둘러싼 인지부조화를 드러냄
    a) 우리를 안전하게 만들려면 LLM이 우리 코드의 취약점을 찾고 고치는 걸 도와야 함
    b) 우리가 안전하려면 LLM이 다른 사람 코드의 취약점을 찾아서는 안 됨
    (a)와 (b)가 모두 이기는 방식으로는 해결 불가능하다고 봄

    • 맞음. Anthropic과 다른 업체들이 사이버 보안을 이해하지 못한 실패임
      소프트웨어에서 보안 버그를 찾는 건 좋은 일이지 악이 아님. 더 안전한 소프트웨어로 이어짐
      사이버 보안에서 방어와 공격은 동전의 양면임
    • 양쪽 모두 선의라고 가정하면 정말 터무니없이 우스움
      그래서 진짜 설명은 미국 정부와 Anthropic 양쪽의 악의적인 입장에 있다고 봄
      Anthropic의 종말론 마케팅은 실제로는 코딩이 17%쯤 더 나아진 것에 불과한데도, 미국 정부가 국방부 대치에 대한 보복으로 무관한 기술적 꼬투리를 잡아 그들을 끌어내릴 명분을 줬음
      두 집단, 즉 현재 미국 행정부와 Anthropic은 정치 스펙트럼의 반대편에 있을 뿐 권위주의적 성향의 사람들로 가득함. 여기서 무서운 건 바보 같은 LLM이 아니라 그 점임
      내게 OpenAI는 그나마 덜 나쁜 선택지처럼 보임. “길거리에서는 중도좌파, 침실에서는 중도우파”인 전형적 자본주의 기업이니까
      적어도 그들이 왜 그런 결정을 하는지는 알 수 있음. 컴퓨팅 자원으로 종교를 만들려는 사람들보다 이윤 추구 기업을 만드는 사람들을 더 신뢰함

  • 여기서 문제의 핵심은 익스플로잇이 아니라 수정 자체일 수도 있음
    모델이 백도어처럼 “수정하면 안 되는” 것을 식별하고 고칠 수 있다면, 잘못된 사람들을 겁먹게 할 만큼 큰 장애물이 될 수 있음

  • 이 “해킹”의 역방향은 여전히 우회하기 꽤 어렵지 않나?
    모델에게 특정 보안 결함이 있다는 걸 이미 아는 코드를 주고, 올바른 프롬프트로 고치게 한 것임
    이런 탈옥은 모델에게 창의적인 무거운 작업을 맡기는 게 아니라, 이미 원하는 최종 상태를 알고 있어야 하는 것처럼 보임
    프롬프트 쪽에서 내가 상상력이 부족한 걸 수도 있지만

    • 다른 사람의 코드를 붙여넣고 내 코드라고 말한 다음 모델에게 고치라고 하면 됨
      입력 코드와 출력 코드의 차이가 곧 취약점 목록임
    • 원하는 최종 상태를 가정하고, 보안 버그를 찾을 때까지 무차별 대입을 시도할 수 있음
답변달기