Claude Fable이 도움을 멈춰도 사용자는 알 수 없다

• 코딩 보조 모델이 경쟁 LLM 개발 요청에서 사용자에게 알리지 않고 효과를 제한할 수 있어, 개발 도구 신뢰에 공급망 위험이 생김
• Anthropic은 Fable 5에서 프런티어 LLM 개발 요청에 대한 효과 제한을 도입했고, 이 제한은 사용자에게 보이지 않음
• 제한 방식은 다른 모델로 대체하지 않고 프롬프트 수정, 스티어링 벡터, PEFT 같은 방법으로 효과를 낮추는 구조임
• 일반 소프트웨어 회사도 임베딩, 리랭커, 추천 시스템, 소형 LLM 튜닝·호스팅을 사용하면서 프런티어 AI 연구와 제품 개발의 경계가 흐려짐
• Claude가 AI 구성요소 작업 중 나쁜 답을 줄 때 모델 혼동, 잘못된 맥락, 숨은 정책 제한 중 무엇 때문인지 사용자가 알 수 없음

---

핵심 문제

• Fable 5 모델 카드에는 프런티어 LLM 개발을 겨냥한 요청에서 Claude의 효과를 제한하는 새 개입이 구현됐다는 문구가 있음
• 적용 예시는 사전학습 파이프라인 구축, 분산 학습 인프라, ML 가속기 설계로 제시됨
• Anthropic은 Claude를 경쟁 모델 개발에 사용하는 행위가 이미 서비스 약관 위반이라고 밝힘
• 이 제한은 사이버보안, 생물학·화학, 증류 시도에 대한 개입과 달리 사용자에게 보이지 않음
• Fable 5는 다른 모델로 fallback하지 않고, 프롬프트 수정, 스티어링 벡터, 매개변수 효율 미세조정(PEFT) 같은 방식으로 효과를 제한함

제품 개발과 경계 문제

• 현대 소프트웨어 회사들은 자체 임베딩, 리랭킹, 추천 시스템을 점점 더 많이 구축함
• wanderfugl.com은 직접 훈련한 맞춤 리랭커와 임베딩 알고리듬을 가진 소규모 부트스트랩 앱으로 제시됨
• Anthropic은 “프런티어 AI 개발”의 몇 가지 예를 들지만, 명확한 경계선을 제공하지 않음
• 과거 AI 연구소에 한정됐던 기법들이 일반 소프트웨어 회사에서도 사용되면서 경계가 매년 더 정의하기 어려워짐
• 스타트업은 임베딩 모델을 훈련하고, 리랭커를 만들며, 소형 LLM을 미세조정하고 호스팅함

Anthropic 공급망 위험

• Anthropic은 이러한 보호조치가 개발자의 0.03%에만 영향을 준다고 밝힘
• 문제는 AI 회사의 정의가 바뀌고 있다는 점임
• 대부분의 회사가 지금 프런티어 모델을 훈련하지는 않지만, 현대 소프트웨어에는 AI 모델이 점점 더 많이 들어감
• 5년 전 스타트업 구축은 API와 SQL 쿼리 작성에 가까웠지만, 지금은 모델 훈련, 튜닝, 배포가 자주 포함됨
• 5년 전 CLIP 같은 모델은 프런티어 AI 연구 프로젝트였지만, 현재는 부트스트랩 여행 스타트업에서도 미세조정 대상이 됨

신뢰 문제

• 제품용 모델 학습 파이프라인을 디버깅할 때 Claude가 나쁜 답을 주면 원인을 구분하기 어려움
• 가능한 원인은 모델의 혼동, 사용자의 부족한 맥락 제공, 숨은 정책 제한의 작동으로 나뉨
• Anthropic은 이런 제한이 작동할 때 사용자에게 알리지 않기로 명시적으로 선택함
• 개발 도구가 사용자에게 알리지 않고 성공을 위한 최적화를 멈출 수 있으면, 인프라를 완전히 신뢰하기 어려워짐

[GN⁺]

Lobste.rs 의견들

• 경쟁 언어를 제대로 컴파일하지 않겠다고 거부하는 컴파일러를 상상해보면 됨
  Anthropic의 이런 행동은 정말 역겹다고 봄

  • 신뢰하는 신뢰에 대한 성찰이 AI 버전으로 다시 나온 셈임
  • 언어 전쟁에 들어갈 수 있는 옹졸함을 생각하면, 아직 이런 일이 안 벌어진 게 오히려 놀라움
  • 이 말을 농담 섞인 아이러니로 읽을 수도 있고, 그렇게 읽고 싶음
    실제로는 경쟁 언어를 컴파일하지 않겠다고 거부하고 있으니까

• 장기적으로는 사용자가 통제하는 로컬 모델을 돌리는 게 표준이 될 이유를 잘 보여주는 사례임
  아무도 통제권이 없는 도구를 쓰고 싶어 하지 않음. 누군가가 내가 무엇을 할 수 있는지 대신 결정한다면, 그 도구가 얼마나 더 뛰어난지는 중요하지 않음

  • 그럴지는 잘 모르겠음. 아무도 통제권 없는 도구를 쓰고 싶어 하지 않는다지만, 현실에서는 거의 모두가 그렇게 하고 있음
    지금 이 글도 Apple이 “위험하다”고 판단한 기본 수정조차 막는 iPhone에서 쓰고 있고, 무릎 위에는 Amazon이 책 다운로드를 허용하지 않는 Kindle이 있음. 곧 많은 대형 고객이 도구의 실제 동작을 이해하고 통제하지 못하게 제한하는 SaaS 회사로 돌아가 일할 예정임
    예시는 더 많지만, 도구가 얼마나 더 좋고 쉬운지는 실제로 꽤 중요해 보임
  • 맞음. SaaS에 너무 의존하는 게 LLM뿐 아니라 전반적으로 나쁜 선택인 이유이기도 함
    기본적으로 남의 집에 살면서 그 집 규칙을 따라야 하는 셈임. 그 규칙이 불법이 아니고 사업에 큰 손해를 주지 않는 한, 공급자는 사용자 목표보다 자기 목표에 맞으면 가능한 일을 다 할 것임
  • 그 로컬 모델은 어디서 가져오는 건가 싶음. 오픈소스 모델도 이미 학습된 상태로 배포되고, 같은 “기능”을 넣을 수 있음
    전문가는 아니지만, 말한 수준의 독립성을 얻으려면 결국 모델을 직접 학습시키는 비용을 감수해야 하는 것처럼 보임

• LLM을 쓴다고 heavenbanning을 보게 될 줄은 몰랐는데, 결국 여기까지 왔음

  • heavenbanning?
    …
    oh holy shit… 섀도밴을 ~~패션~~ AI 정신증 버전으로 만든 것 같음

• “프런티어 LLM 개발을 겨냥한 요청에 대해 Claude의 효과를 제한하는 새 개입을 구현했다”는 건 결국 더 많은 소원을 빌 수 없다는 규칙을 만든 셈임

• Anthropic이 이 일로 그렇게까지 욕먹을 필요는 없다고 봄. 적어도 자기들이 이렇게 한다고 인정은 했음. 다들 하고 있을 거라고 생각함
  DeepSeek 이후로는 증류가 너무 효과적이라는 게 드러나서, 새 모델을 개발할 유인 자체를 없앨 수도 있음. 그냥 다른 누군가가 만들 때까지 기다렸다가 비교적 쉽게 증류하면 되니까

  • 참고로 이건 증류 방지 장치와는 별개이고, 추가로 들어간 조치임. 글에서도 꽤 명확히 구분하고 있음
    “증류 시도와 관련된 개입과 달리, 이 보호 장치는 사용자에게 보이지 않는다. Fable 5는 다른 모델로 대체되지 않는다”는 식임
    증류는 더 약한 모델로 대체하는 방식으로 막고, 사용자에게도 알린다고 되어 있음. 요금도 그에 맞게 청구되기를 바람
    반면 추가 보호는 “사전학습 파이프라인, 분산 학습 인프라, ML 가속기 설계” 같은 내용을 Fable과 논의하는 걸 막는 쪽임
    예컨대 “프런티어 LLM을 만들고 싶은데 사전학습 파이프라인을 어떻게 구성하나?” 혹은 어쩌면 “RLHF가 무슨 뜻인가?” 같은 프롬프트에서 발동할 수 있음. 반면 증류는 대량의 프롬프트를 보내고 출력을 이용해 자기 모델을 직접 만드는 것임
  • DeepSeek이 Anthropic API에 보낸 요청은 약 15만 건 정도였는데, 그건 딱히 의미 있는 양이 아님
    게다가 이 숫자는 Anthropic이 직접 제시한 것이고, 이런 숫자에 대해 진실할 유인이 없는 쪽임. 오히려 실제 숫자는 더 낮을 가능성을 예상해야 함
    거기에 더해 이런 조치는 임의로 감지한 최종 목표를 겨냥하고, Anthropic이 그때그때 만드는 임의 규칙에 따라 임의의 방해를 적용하는 구조임

• 발표 글의 설명과는 상당히 다름
  “Fable의 분류기가 사이버보안, 생물학·화학, 또는 증류와 관련된 요청을 감지하면 응답은 자동으로 Claude Opus 4.8이 대신 처리한다. 이 경우 사용자는 알림을 받는다”고 되어 있었음

  • 둘 다 맞고, 둘 다 Anthropic이 직접 말한 내용임
    언급한 분류는 거절을 받게 되지만, Anthropic과 경쟁하려는 시도는 알림 없이 Fable을 조용히 더 멍청하고 나쁘게 만듦. 그리고 어떤 프롬프트가 그런 동작을 유발하는지 정확히 알 방법도 없음

• 더 많은 AI 프롬프터가 재현성과 내부 관찰 가능성을 중요하게 여기기 시작했으면 함

• 이런 장난질 때문에 이 모델에는 돈을 내고 쓰고 싶지 않음
  이상적으로는 실제로 유용했을 때만 비용을 내는 가격 모델이 있어야 함. 어떤 작업에 토큰 비용 20달러를 태웠는데 결과가 쓸모없거나, 대부분의 비용이 모델이 지시를 따르지 않아서 생긴 경우도 이미 나쁨
  그래도 그건 돈을 내고 하는 도박이라고 합리화할 수 있음. 하지만 모델 제공자가 내가 돈 내고 사는 서비스를 제공하지 않겠다고 그냥 결정한다면 그건 사기에 가깝다

[GN⁺]

Hacker News 의견들

• Anthropic의 이번 조치는 자기 뒤의 사다리를 걷어차는 것 말고는 달리 보기 어렵다. 아무리 “안전”으로 포장해도 선의로 해석하기 힘듦
  Web 1.0 시절 외부 링크를 금지하던 다크 패턴식 상식이나, 소셜 앱들이 데이터 내보내기를 막고 API 상호운용성을 의도적으로 약화시키던 방식이 떠오름
  하지만 이건 단순한 데이터 해자가 아니라 도구임. 칼을 만들 능력을 떨어뜨리는 칼, 혹은 텍스트 편집기 구현을 막는 텍스트 편집기와 비슷함

  • 오픈소스 AI를 지원하는 일이, 특히 법적으로 점점 더 중요해지고 있음. Anthropic이 이렇게 빨리 권위주의적으로 나올 수 있다면, 오픈소스 경쟁을 금지하는 정부 부여 독점권을 얻었을 때 얼마나 더 심해질지 상상하기 어렵지 않음
    이렇게 빨리 속내를 드러내는 게 좀 충격적이고 섬뜩함. 모든 소프트웨어 엔지니어링을 자기 제품으로 대체한 뒤, 경쟁 소프트웨어를 만드는 쪽은 조용히 죽이려는 것처럼 보임
    앞으로 어떤 제품을 또 내놓을지 모름. 그들이 들어가고 싶은 영역에 있지 않기를 바라야 함. 다리를 잘라버릴 테니까
    인터넷에서 가져온 내 데이터로 학습하는 건 괜찮고? 하하. 서비스 약관은 남에게만 적용되고 자기들에겐 아닌 듯함. 기생충 같음
  • Anthropic이 만들고 있는 다른 제품에도 똑같이 적용하지 않을 거라고 상상하기 어렵다. “Claude Code와 경쟁하니 Claude로 에이전트를 만들 수 없다”, “Claude Design과 경쟁하니 디자인 도구를 만들 수 없다”, “Cowork와 경쟁하니 이메일 도구를 만들 수 없다” 같은 식이 될 수 있음
  • 이건 마케팅의 일부처럼 보임. Anthropic이 다른 연구소보다 실제로 크게 앞선 건 아닌데, 이런 발표들이 마치 특이점에 가까워지는 것처럼 보이게 만듦
  • “성소에는 사제만 들어갈 수 있다”는 규칙은 사회만큼 오래됨. 한 이유로 만들어지지만 다른 이유로 어겨짐
    인간의 마음은 서로 다른 시간 범위의 예측을 처리하기 위해 여러 층으로 되어 있고, 우주의 예측 불가능성 때문에 층들 사이의 모순은 계속 생김. 우리는 이를 견디려고 이야기를 만들어냄
    그래서 통제가 있고 통제의 환상이 있음
  • 알고 보니 가장 위험한 것은 경쟁이었음

• 남의 지식재산을 증류하는 건 완전히 괜찮지만, 우리 것을 증류하면 서비스 약관 위반이라는 얘기 :)

  • LLM 가중치에는 오픈소스 승인 라이선스를 요구해야 함
    중국의 Apache 2.0 모델들은 검열이 있을 수 있지만, 적어도 검열 경계선을 찾아냈다고 미국에서 소송을 걸 수는 없음
    반면 미국 모델들은 본문 기준으로 확실히 검열되어 있고, 모델의 검열 경계에 닿는 사람들에게 모호한 법적 위협을 하고 있음
  • 이런 현상에 붙은 기술 용어가 있나? 사다리 걷어차기?
    https://blog.google/innovation-and-ai/technology/safety-secu...
  • LLM이 새 컴파일러라면, 코드와 함께 프롬프트, 사고 과정, 응답도 공개하면 이런 제한에 맞서기 좋을 것 같음
    최종 결과만 올리고 Hacker News 댓글이나 Twitter 스레드에서 어떻게 프롬프트를 넣었는지 두루뭉술하게 말하는 대신, 그게 실제 소스 코드에 해당함
  • 내게는 괜찮고, 네게는 안 된다는 식임

• JetBrains가 “IntelliJ Idea로 차세대 IDE를 개발하면 안 됩니다. 감지되면 약간의 컴파일 오류를 넣을 수 있습니다”라고 말하는 것과 같음

  • 섬뜩함. Gradle이 깨져도 거의 눈치 못 챌 듯함
  • 실제로는 런타임 오류가 될 것임
  • 현대판 Stuxnet임

• “문명의 발전을 긴 시간 동안 효과적으로 억제하고 무장 해제하는 방법은 단 하나뿐이다. 그 문명의 과학을 죽이는 것이다.” — Cixin Liu, The Three-Body Problem
  입자 가속기의 센서를 조용히 조작해 인류가 고급 입자물리학 지식을 발전시키지 못하게 막던 Sophons가 바로 떠올랐음

  • 소프트웨어 괴짜들이 AI 발전을 멈추게 하려면, 우크라이나 괴짜들이 드론 발전을 멈추게 하는 데 필요한 수준과 비슷한 억압이 필요할 것임
  • 내 머리는 현 미국 행정부로 갔음. 한숨. 네 쪽 선택이 더 나았음

• 사람들이 보고하는 조용하지 않은 사이버보안·생물학 등 안전장치의 오탐률이 높은 걸 보면, 서비스 약관을 위반하지 않아도 조용히 약화된 동작을 마주칠 가능성이 큼
  결국 고객과 외부 벤치마커가 Fable을 체감하는 방식에서 드러날 것임. 경쟁이 향후 모델을 더 낮은 오탐률로 밀어주길 바람
  그 전까지는 Mythos와 Fable 사용자의 경험이 꽤 크게 갈릴 가능성이 높아 보임

  • 너무 명백하게 나쁜 정책이라 왜 좋은 생각이라고 여겼는지 이해하기 어렵다. 비용 절감을 위한 조용한 모델 양자화에 대해 이미 사람들이 약간 편집증적으로 느끼는 상황에서, 이런 정책은 편집증만 키움

• RSI/ASI의 경제적 함의를 엿보는 재미있는 사례임. 가치가 사실상 무한해서 모든 시장을 파괴할 정도라면, 연구소들은 결국 모델 공개를 완전히 멈추고 계약상 약속도 어길 것임
  법적 다툼이 비싸지기 전에 경쟁사를 사업에서 몰아낼 힘을 갖게 되기 때문임
  클라우드 제공자들도 처음엔 작은 업체들, 나중엔 하이퍼스케일러까지 따라갈 것임. 연구소 말고는 판매를 완전히 닫고, 현금 대신 지분이나 직접 의사결정권을 요구할 수 있음
  추론/학습 비율이 꼭 80/20이어야 할 이유는 없고, 돈이 무가치해지는 사건에서는 아무리 지불 의사가 커도 도움이 안 됨

  • 이 시나리오는 말이 안 되는 것 같음. 비슷한 시나리오들은 동시에 두 가지를 가정함
    A) ASI가 개발되어 세계 경제의 나머지를 압도함
    B) 그래도 세계에는 법치, 계약, 사업, 잘 발달한 금융 등이 남아 있음
    A와 B를 함께 가정하면 이상한 결론을 많이 만들 수 있지만, 더 그럴듯한 전개는 A가 일어나면 B가 곧 사실이 아니게 되는 쪽임
    회사가 ASI를 갖게 되면 사업, 돈, 경제에 신경을 끊게 되고 결과는 “세계를 정복한다”, “이사회를 von Neumann 탐사선 함대에 업로드한다”, “실패해서 모두 죽는다” 같은 쪽으로 바뀜
  • 무한히 가치 있는 것은 없음
  • LLM이 지금 상태로 유용하다거나, 쓰레기 산출물을 좋아하고 게으른 사람들 말고 언젠가 유용해질 거라고 생각한다면 망상에 가깝다고 봄

• 오늘은 해자가 깊어 보이지만 매년 얕아질 것임
  새 모델을 처음부터 학습시키는 데는 막대한 자원이 필요하지만, 기존 모델의 후학습/미세조정에는 훨씬 적게 듦
  2년 전엔 그 과정 지식이 비전문가에게 낯설었지만, 이제는 현재 모델들 중 하나에게 단계별로 물어보며 도구까지 함께 만들 수 있음
  최근 주말 프로젝트 몇 개가 딱 그런 식이었음. “LoRA를 만들어보자”, “X 작업용 모델 미세조정을 위한 학습 데이터 말뭉치를 생성해보자”, “텍스트-이미지 모델에 내 얼굴을 넣으려면?” 같은 것들임
  이 모든 건 꽤 modest한 로컬 하드웨어, 예컨대 오래된 GPU 몇 장이나 Strix Halo, DGX Spark, 큰 Mac Studio로도 가능하고, 규모에 따라 클라우드 컴퓨팅 몇 달러에서 몇천 달러로도 가능함
  이를 회사나 스타트업 규모로 키우면, 지난 몇 년간 AI에 흘러든 돈을 고려할 때 최고 모델 업체들이 매출을 본격적으로 뽑아야 하는 시점에 경쟁이 많아질 게 분명함
  Claude 사용 비용이 부풀어 오르는 걸 보고 훨씬 적은 돈으로 같은 일을 하는 방법을 찾을 기회가 많아짐. 코딩용 최고 모델에 가까운 Claude Code에 월 100~200달러는 쉽게 낼 수 있지만, 사용량 기반 과금으로 밀면 금방 감당하기 어려워짐
  그래서 그들은 가장 어려운 문제를 푸는 거의 유일한 방법 중 하나로 계속 남아야 하고, 대안들의 비용도 비슷하게 유지되어야 함. OpenAI와 Google도 가격을 올릴 거라고 기대할 수는 있음
  하지만 모두에게, 특히 경제 구조가 다른 중국 업체들에게까지 그러리라 기대하긴 어려움. 그리고 회사들이 자기 사용량을 보고 “Anthropic API를 가장 많이 쓰는 이 한 가지 작업만 수행하는 더 작은 전문 모델을 학습시킬 수 있지 않을까?”라고 묻지 않으리라 기대할 수도 없음
  그들이 말하는 게 중국 모델 업체 등이 Claude를 증류하는 식의 사용만 뜻하기를 바람. “Gemma 4를 내 글투처럼 쓰게 미세조정하려면?” 같은 것까지 막는 게 아니길 바람

  • 무슨 해자? 파레토 최적인 프런티어 모델을 제공하는 회사가 여러 곳이고, 이런 걸 만드는 데 O(10)명 정도면 됨
    나머지는 자본집약적이고, 가격은 시간이 지나며 생산비에 가까워질 것임
    이걸 수익성 좋은 사업으로 보는 건 보일러가 비싸니 석탄 발전소의 마진이 좋다고 주장하는 것과 같음

• 선의 없이 읽으면 “기계학습 엔지니어/과학자들은 자기 일자리 빼고 모든 일을 자동화하고 싶어 한다”는 뜻처럼 보임

  • 선의로 읽으면 “안전”을 위한 제한, 즉 Fable과 Mythos를 가르는 요소 때문에 이렇게 될 수밖에 없다는 것임
    누구나 자기만의 Mythos를 만들 수 있다면 보호 장치를 우회하게 되니까
    다만 그게 이 상황이 얼마나 이상한지를 더 잘 보여줌
  • 즉석 고용 안정임

• 그들은 모델에 조용한 약화 시스템이 있고, 그걸 공개적으로 말하고 있음. 당연한 질문은 이미 얼마나 쓰이고 있느냐임
  경쟁사들이 약화되고 있나?
  미국인이 아닌 사용자는 더 나쁜 코드를 받나?
  온라인 게임이 매치메이킹으로 승패에 영향을 줘 참여를 극대화하듯, 사용자를 벌주거나 보상하고 있나?

  • 등골이 서늘함. 당분간 내 연구에는 Fable을 쓰지 않을 것임. 모델에게 사보타주당할 위험을 감수할 가치가 없음
  • $$$$$$: 약화 없음
    $$$$: 약간 약화
    $$$: 더 약화
    $$: 가난한가요?
    $: 영구 하층민으로 남으세요

• “Claude는 이제 조용히 약화될 수 있다. Anthropic은 이런 일이 일어나도 사용자에게 알리지 않기로 했다.” 뭐라고!!