이 Fable 사안에 드리운 거대한 그림자

 (12gramsofcarbon.com)
3P by GN⁺ | ★ favorite | 댓글 3개
  • 강력한 AI 모델인 Fable 5와 Mythos 5는 미국 정부의 수출통제 지시 이후 모든 고객 접근이 갑자기 중단됨
  • 미국 정부 지시는 미국 안팎의 외국 국적자와 Anthropic 외국 국적 직원까지 접근 차단 대상으로 삼았고, Anthropic은 준수를 위해 전체 접근을 끊음
  • Anthropic은 정부가 특정 탈옥(jailbreak) 우회를 문제 삼았지만, 시연된 취약점은 이미 알려진 소수의 경미한 취약점이며 다른 공개 모델도 찾을 수 있다고 봄
  • 이번 조치는 AI 안전 규제인지, Anthropic을 겨냥한 정치적·경쟁적 압박인지 구분하기 어렵게 만들며 정부 결정의 신뢰 문제를 키움
  • 강력한 LLM의 공개 접근이 정부 통제로 제한되는 선례가 생겼고, 향후 일반 이용자가 최고 성능 모델을 쓰기 어려워질 수 있다는 우려로 이어짐

금요일 저녁에 끊긴 모델 접근

  • 금요일 저녁 AI 에이전트로 HTML 게임을 만들던 중 에이전트가 “이 모델은 더 이상 존재하지 않는다”고 응답하며 작업이 중단됨
  • 처음에는 재로그인 문제나 병렬 에이전트 사용에 따른 이상한 제한 오류로 보고 API로 전환했지만 여전히 접근하지 못함
  • 팀이 만든 커스텀 Rust 에이전트 클라이언트의 하네스(harness)가 망가졌다고 의심해 Rust 코드를 살펴보다가, 친구에게서 정부가 Fable을 금지했다는 말을 들음

정부의 접근 차단 지시

  • 미국 정부가 국가안보 권한을 근거로 수출 통제 지시를 내려, Fable 5와 Mythos 5에 대한 모든 외국 국적자의 접근을 중단하도록 요구
    • 대상은 미국 내외를 불문한 모든 외국 국적자이며, 외국 국적 Anthropic 직원까지 포함
    • 이를 준수하기 위해 Anthropic은 전 고객 대상으로 Fable 5와 Mythos 5를 즉시 비활성화, 다른 모든 Anthropic 모델 접근은 영향 없음
  • 지시는 당일 오후 5시 21분(ET) 에 수신됐으며, 서한에 구체적 안보 우려 내용은 미포함

Anthropic의 공식 입장

  • 정부가 Fable 5 탈옥(jailbreaking) 우회 기법을 인지한 것으로 이해하며, 해당 기법 시연을 검토한 결과 이미 알려진 소수의 경미한 취약점 식별에 그침
    • 이 취약점들은 비교적 단순하며, 우회 없이도 다른 공개 모델들이 동일하게 발견 가능
  • 지시 근거로 추정되는 보고서를 검토, 해당 역량 수준이 OpenAI GPT-5.5 등 다른 모델에서도 널리 제공되고 보안 방어자들이 매일 활용하는 수준임을 검증, 24시간 내 추가 정보 공유 예정
  • 법적 지시는 준수하되, 좁은 범위의 잠재적 탈옥 발견이 수억 명에게 배포된 상용 모델 회수의 사유가 되어선 안 된다는 반대 입장

AI 안전성과 최적화 우려

  • AI에 대한 입장은 양가적이며, 딥러닝 모델을 많이 훈련한 경험 때문에 최적화 도구가 잘못 작동할 수 있는 방식에 강한 우려를 가짐
  • 사람은 실제로 달성하고 싶은 목표가 아니라 측정 가능한 지표를 최적화하는 경향이 있음
  • 좋은 제품을 만들고 싶어도 방법을 모르기 때문에 참여도를 최적화하고, 아이들에게 읽기와 쓰기를 가르치고 싶어도 시험 점수를 최적화하는 식의 문제가 발생함
  • AGI와 ASI 시스템은 최적화 도구이며, 측정 가능한 것을 최적화하는 과정에서 좋은 것에서 멀어질 수 있어 예측하기 어려운 위험을 가질 수 있음
  • 기업도 최적화 도구처럼 작동하므로, 많은 개발자가 위험을 말하는 상황에서도 측정 가능한 목표인 빠른 수익화를 향해 움직일 수 있음

정부와 Anthropic의 갈등 배경

  • Anthropic과 현 행정부는 우호적이지 않은 관계로, DoD 통합 및 군 협력을 시도해 모델이 고도 기밀 시스템에 사용된 바 있음
    • 그럼에도 Trump 행정부는 Anthropic을 공급망 리스크(supply chain risk) 로 규정, 정부 협력 주체의 Anthropic 모델 사용을 금지
    • 이후 6개월간 Venezuela 전쟁, Iran 전쟁 등 군사 작전에 Anthropic 모델을 계속 사용했으며, Chinese LLM은 공급망 리스크로 지정조차 되지 않음
  • 일부 극우 진영은 행정부가 Anthropic을 파괴하려 한다는 이유로 Anthropic을 'woke'로 규정하는 논리를 전개
  • 이번 조치가 유해 AI 규제 목적인지, 문화적 적대 대상에 타격을 가하려는 기회인지 의문 제기

경쟁 구도와 IPO 시점

  • 경쟁사들은 행정부 전반에 우호 세력을 보유, 예시로 Kushner 가문이 OpenAI에 대규모 투자
  • 이번 조치를 다른 연구소가 Anthropic에 타격을 가하는 기회로 해석 가능
    • Fable은 매우 강력한 모델로 평가되며, Anthropic의 IPO 임박 시점에 소비자 이용이 중단된 점이 공교로움
  • 전리품 정치(spoils system)는 모든 사안의 optics를 의심스럽게 만들며, 수십 년간 쌓은 신뢰가 무너졌다고 지적

금요일 5시 21분 발표와 시장 우려

  • 발표 시각이 금요일 오후 5시 21분이라는 점은 의심스러운 시간대로 보임
  • 금요일 저녁 발표는 주말 동안 시장 충격이 흡수되기를 기대하며 나쁜 소식을 내놓는 방식으로 이해됨
  • Claude가 인용한 The Kobeissi Letter 사례에는 금요일 장 마감 뒤나 토요일 새벽에 나온 지정학·무역 발표들이 들어감
    • 예시에는 이란 핵시설 타격, 카리브해 마약 운반선 군사행동, 중국 100% 관세 위협, 베네수엘라 영공 폐쇄, 나이지리아 군사행동, 2026년 2월 이란 직접 타격 포함
    • 2025년 8월 11일 Intel 거래 발표도 CEO Lip-Bu Tan에 대한 공개 압박 뒤 활성 거래시간 밖에 배치된 기업 관련 사례로 묶임
  • AI 붐은 컴퓨터 지능에 대한 지속적 수요가 있을 것이라는 생각에 크게 기대고 있음
  • 부채, 구축 투자, 데이터센터, GPU, 메모리, 디스크, 서버 랙에 이르는 AI 체인의 주식시장 상승은 수조 달러 규모 가치가 생길 것이라는 전제에 의존함
  • 정부가 어느 순간 모든 접근을 일방적으로 끊을 수 있다는 인식은 다중 조 달러 데이터센터 투자에 큰 장애물이 될 수 있음
  • HN과 Reddit 일부 이용자는 이번 사건을 정부가 사람들이 접근하도록 허용할 모델 역량의 상한선으로 보고 있음
  • 정부가 허용하지 않으면 아무리 수요가 많아도 접근할 수 없다는 문제가 남음

커뮤니티 반응과 ‘위험한 모델’ 마케팅의 역풍

  • HN과 Reddit 일부 이용자는 Anthropic이 Mythos 관련 마케팅 쇼의 대가를 치렀다고 보고 기뻐함
  • 과거 OpenAI도 GPT-2를 “공개하기엔 너무 위험하다”는 방식으로 제한 공개했으며, 당시 대규모 기만적·편향적·악용 언어 생성 우려를 이유로 들었음
  • GPT-2 이후 AI 생성 저품질 콘텐츠가 넘쳐나 현실을 함께 이해하는 능력을 흔들었다는 점에서 OpenAI의 우려는 꽤 정확했다고 봄
  • Fable이 실제로 강력한 모델이라고 믿으며, 광범위한 Fable 공개의 보안 위험을 걱정한다는 Anthropic의 말을 어느 정도 신뢰함
  • 관련 HN 스레드의 최상위 댓글은 Anthropic이 자기 모델을 남들보다 훨씬 앞선 것으로 팔기 위해 공포를 조장한 대가를 치르게 됐다는 반응이었음
  • 정부 입장을 액면 그대로 받아들이면, Anthropic 모델은 너무 뛰어나서 말 그대로 사용할 수 없는 모델이 되므로 오히려 강력한 광고가 될 수 있음
  • 또 다른 HN 댓글은 제품이 얼마나 위험한지 오래 말하면 위험 제품을 시장에서 막을 권한이 있는 사람들이 그 말을 들을 수 있다는 점을 짚음
  • Bernie Sanders는 AI CEO들의 발언을 읽어 주는 정책 영상을 만들며 AI 위험성을 강조하는 의원으로 묘사됨
  • AI 모델이 정말 안전하지 않아 규제가 필요할 수도 있지만, 폐쇄 위험을 알게 된 AI CEO들은 앞으로 그런 말을 하지 않을 수 있음

강력한 LLM 접근 제한의 선례

  • 마지막으로 인용된 HN 댓글은 이번 사건의 핵심을 정부가 강력한 LLM의 대중 접근을 제한하기 시작한 것일 수 있다는 점으로 봄
  • 해당 댓글은 Fable을 시장에서 가장 강력한 모델로 보고, 미국 정부가 원칙상 비미국 시민에게만 금지했지만 실제로는 미국 시민도 쓸 수 없게 됐다고 봄
  • 오픈소스 중국 모델이나 자체 하드웨어 실행이 해결책이라는 생각도 재검토해야 한다는 입장임
  • 미국 정부가 가장 강한 미국 모델을 막는 상황에서, 중국이 1년 뒤 Mythos급 역량을 가진 자국 기업의 최강 LLM을 오픈소스로 허용할 가능성은 낮다고 봄
  • 강력한 LLM은 강력한 사이버보안 무기 방향으로 가고 있으며, 국민국가는 이를 제한하고 통제할 이해관계를 갖게 됨
  • 2년 뒤 가장 강한 LLM이 일반 용도로 제공된다면 놀라울 것
  • 강력한 LLM 제한이 사람들을 더 가난하게 만들지 더 안전하게 만들지는 확실하지 않지만, 이번 사건은 선례가 생긴 중대한 분기점

함께 보면 좋은 글 β

sungwoo   [-]

독파모를 하긴해야 겠군요

답변달기
GN⁺   [-]
Hacker News 의견들

  • ‘플래시 게임’ 르네상스가 AI 도구 덕분에 돌아올 수 있다는 생각은 이해하지만, aigamedev 서브레딧에서 사람들이 만든 게임들을 계속 해본 결과 꽤 실망스러웠음
    게임 디자인은 배우기 어려운 예술이고, LLM이 크게 도와주기 힘든 영역 같음
    이런 게임들이 “재미있다”는 건 유아 그림이 “아름답다”는 말과 비슷해 보이고, 코드 생성에 쓸 25달러 이상이면 훨씬 좋은 인디 게임을 많이 살 수 있음

    • LLM이라는 추상화 계층을 거쳐 작업하면 재미있는 게임을 만들기가 오히려 더 어려워질 것 같음
      훌륭한 게임 디자인의 예술은 디테일에 있는데, 영어만으로는 캔버스 위 붓질 하나하나를 전달하기에 부족함
      그 서브레딧에서 무엇이 만들어지는지 보려고 들어갔지만 나 역시 별로 감명받지 못했음
    • 그곳 같은 강한 AI 열광과 취향의 부족은 꽤 강하게 상관관계가 있어 보임
      LLM으로 지루한 코딩을 보조하면서도 짧은 목줄을 유지하고 창의적인 부분은 직접 하는 개발자들도 많을 것임
      예전부터 코딩을 싫어하고 아이디어를 내보내기 위한 필수 단계로만 보는 인디 개발자들은 있었고, 그래도 좋은 게임을 만들었음
      Undertale의 모든 대사는 5천 줄이 넘는 거대한 switch 문으로 구현돼 있음
    • 플래시 게임도 대부분은 형편없었음
      Boxhead, Motherload, Bloons 같은 게임을 찾으려면 쓰레기 더미를 뒤져야 했음
      여기서는 양이 중요하다고 봄
      뛰어난 게임 디자이너가 되기 위해 뛰어난 프로그래머일 필요는 없지만, 예전에는 시작조차 하려면 프로그래밍이 전제 조건이었음
      게임에 AI 도구를 적용하는 아름다움은 후자, 즉 게임 디자인에만 집중할 수 있다는 데 있고, 시간이 지나면 보석 같은 작품이 위로 올라올 것임
    • 게임 디자인은 어렵다
      예전에 플래시 게임 4개를 냈는데 2개는 완전히 망했고, 1개는 그럭저럭이었고, 1개는 꽤 잘됐음
      누적 플레이 시간이 수백 년에 달했음
      제대로 만들려면 할 일이 많고, 모든 소프트웨어처럼 목표 시장에 맞춰 만들어야 함
      재미있고 몰입되는 핵심 반복 구조를 만드는 데 쉬운 AI 해법은 없고, 적절한 복잡도와 학습 곡선을 균형 있게 만드는 해법도 없음
      코딩을 못 하거나 안 하는 많은 사람이 자신을 게임 디자이너라고 생각했고 AI가 게임을 만들게 해줄 거라 기대했지만, 결국 핵심은 코드가 아니었다는 걸 깨닫는 중인 듯함
      게다가 코딩을 못 하면 바이브 코딩만으로는 아직 플래시 수준 게임 이상의 많은 것을 만들기엔 부족함
    • 인디 개발자로서 게임 만들기는 어렵고, 소프트웨어에서 거의 유일하게 모든 분야가 모여야 설득력 있는 결과물이 나오는 영역임
      여러 하위 분야에서 프로그래밍을 많이 해봤지만, 여전히 AI가 뚫기 가장 어려운 분야로 느껴짐
      산출 속도를 높이는 도구로는 분명 놀랍지만, 전체적으로 상품화하기는 AI에게 가장 어려운 영역이 될 것 같음

  • 글쓴이는 OpenAI가 GPT-2 때 “공개하기엔 너무 위험하다”는 마케팅 수법을 썼다고 하며 양쪽 모두 이 카드를 썼다고 보지만, 당시 Dario는 OpenAI에 있었고 GPT-2 연구 논문의 공동 저자였음
    “공개하기엔 너무 위험하다”는 접근은 두 회사 모두에서 계속 그 사람이 해온 일에 가깝다

    • GPT-2에 대한 우려는 결국 맞았던 것 아닌가 싶음
      2019년 원래 공개 글에서도 오해를 부르는 뉴스 기사 생성, 온라인 사칭, 소셜 미디어용 학대성·가짜 콘텐츠 자동 생성, 스팸·피싱 콘텐츠 자동 생성 같은 악용 가능성을 적었음
      합성 이미지·오디오·비디오 결과와 함께 이런 기술이 가짜 콘텐츠와 허위정보 캠페인의 비용을 낮추고, 대중은 온라인 텍스트도 딥페이크 이미지처럼 더 의심해야 한다고 했음
      그래서 조심스럽게 배포한다고 했던 것임
      https://openai.com/index/better-language-models/
    • Dario가 모든 게 괜찮을 거라고 맹목적으로 생각한 게 아니라, 실제로 잠재 위험을 따져본 것일 수도 있음
    • 공정하게 보면 생성 AI는 매주 새롭고 예상치 못한 방식으로 사회를 망가뜨리고 있음
      거짓과 허위정보부터 치료나 인간관계 대신 챗봇을 택하는 사람들까지 사회적 영향이 깊고, 앞으로 더 나빠질 것임
      AI가 내려갔을 때도 뭔가 해낼 수 있는 충분한 능력의 주니어 프로그래머를 찾는 일은 우울할 정도이고, 앞으로는 더 나빠 보임
      “아동 성착취물 생성 금지”, “진술은 사실이거나 증거에 기반해야 함” 같은 중요한 안전 기능은 이 시스템들의 설계에 애초에 포함되지 않았고, 지금까지도 제대로 해결되지 않았지만 AI 회사들은 명백한 결함을 안고 대중에게 공개했음
      AI의 헛소리 생성 능력과 신기한 장난감 같은 면은 좋아하지만, 지금까지는 사람을 해고하고 컴퓨터가 일을 절반쯤 엉망으로 하게 해서 이익을 얻는 가장 부유한 소수에게만 순이익이었고, 나머지에게는 순손해였다고 봄
      이제는 늦었지만, 돌이켜보면 이런 형태로는 공개하기에 너무 위험했다는 데 동의함

  • Hacker News의 과도한 회의주의가 합리적인 AI 논의를 망쳐버렸음
    미국 정부는 AI 통제권을 둘러싼 전쟁을 확대하면서 Anthropic을 상대로 서툴고 부패했으며 징벌적인 방식으로 국가 권력을 무기화했음
    그런데 HN은 “마케팅 과장”만 유일한 설명으로 고정해두고, 모든 증거를 점점 억지스러운 설명에 끼워 맞추고 있음
    AI는 일자리, 지위, 믿음, 생활방식을 위협함
    HN에서는 이 진실을 믿기보다 그것이 반드시 사실일 수 없다는 합리화를 만들어내는 편이 더 쉬운 듯함
    세상이 꽤 기묘하게 바뀌려 한다는 점을 받아들이고, 실제 사안을 놓고 분석하려는 사람들은 고맙게 느껴짐

    • 90년대 NSA가 웹사이트의 암호화 접근을 제한하려 했던 일이 떠오름
      안전한 공개 웹 결제 전송의 명확한 해법으로 SSL이 자리 잡던 시점에 미국이 SSL을 금지할 뻔했음
      경제적 압력, 대안 부재, 많은 반대 덕분에 문이 열린 것으로 보이지만, 그때도 “국익과 안보”라는 헛소리가 동원됐음
      이번에 큰 차이는 Fable/Mythos가 없어도 아무것도 못 하는 건 아니라는 점임
      여기에는 마법 같은 경계선이 없고, 개입을 줄인 연결 작업의 개선만 있음
      그래도 이것이 유지되면 미국 AI 개발에 거대한 냉각 효과를 만들 가능성이 크고, 다른 연구소들은 결국 Fable/Mythos의 성능을 우회해 따라잡을 것임
      자동차 비유로는 모델이 V6에서 V8로 가는 엔진 개선처럼 만들어지고 있지만, 다른 조직은 공기저항이나 연료분사를 개선해서 비슷한 속도 향상을 낼 수 있음
      전체 사슬 곳곳에 개선 여지가 많기 때문에 이런 조치는 무의미함
      이 행정부와 Anthropic의 거친 전술을 보면, 일주일 안에 어떤 “거래”로 끝나고 고위험 협상의 일부였던 것으로 보임
      오히려 Anthropic에 유리할 수도 있는데, 달콤한 합의가 생기면 OpenAI는 어디에 놓이게 되는가
      선례는 이미 생김
    • HN의 많은 사람과 만성적인 포럼 이용자들은 회의적·냉소적으로 굴면 더 똑똑해 보인다고 생각함
      나 같은 대부분의 너드는 고등학교나 대학 때 이런 날 선 태도를 졸업했음
      현실적으로 이런 태도는 모든 것을 가장 어두운 렌즈로만 보게 만들 뿐임
    • 이 해석은 성직자들이 인쇄기가 위험하다고 말하던 것과 조금 비슷함
      사람들이 나쁜 것을 읽고 나쁜 생각을 퍼뜨릴 거라고 했고, 실제로 그랬지만, 전체적으로는 문해력 확산을 위해 치를 만한 작은 대가였음
    • Claude.ai 웹 프롬프트에는 닫을 수 없는 “Claude Fable 5 is current unavailable” 안내가 떠 있음
      100% 홍보 수법이라고 말하는 건 아니지만, Anthropic은 사람들이 이 사실을 정말 알기를 바라는 것 같음
    • 과도한 회의주의 쪽 사람들이 모두에게 방해가 되고 있음
      “Anthropic은 마케팅용 소동을 벌이는 것뿐”, “AI는 NFT와 같다”, “순환 거래다”, “거품은 곧 터진다”, “과장론자들이 사기꾼처럼 빨리 빠져나가려고 주식시장을 떠받친다” 같은 식으로 말함
      마지막 표현은 그들이 쓰는 용어를 억지로 맞춰보려고 지어낸 것임
      핵심 문제는 AI가 우리 같은 평범한 사람들에게 그냥 쥐여주기엔 너무 강력해지고 있다는 데 있음
      아직도 전부 과장이라고 믿는다면 진짜 문제에서 눈이 돌아간 상태임
      언젠가는 이런 수사가 사라지고 실제 문제에 집중하게 될 것 같음

  • Anthropic 경쟁사들이 행정부 곳곳에 친구를 두고 있고, 예를 들어 Kushner 쪽이 OpenAI에 크게 투자했다는 대목은 핵심이면서도 무관함
    “안보”는 명백히 구실에 가깝고, 정말 안보가 이유였다면 요구가 외국 국적자에게만 제한되지 않았을 것임
    어떤 미국 행정부도 모든 미국 국적자를 믿었던 적은 없음
    하지만 제한 이유 자체는 거의 중요하지 않음
    이런 일이 벌어졌다는 사실이 EU가 디지털 주권을 말뿐이 아니라 실제 예산과 노력으로 진지하게 받아들여야 할 마지막 경종이어야 함

    • 디지털 주권의 전제는 경쟁력 있는 디지털 기업을 만들 수 있는 능력임
      지금 시점에서 EU가 그 방향으로 배를 돌릴 가능성은 낮아 보임
    • 이 행정부가 해온 다른 모든 일을 보고도, 이제 와서 그들의 공식 의도를 액면 그대로 받아들이는 건가 싶음

  • 욕설이 많고 이념적으로 치우친 저품질 불평문이라 Hacker News에 어울리지 않는 글로 보임

  • 이 조치는 Opus 4.8보다 나은 AI 모델들의 기업 시장 전체를 죽임
    관료나 악의적 정치인이 기반 지능을 즉시 빼앗아갈 수 있는 워크플로나 역량을 구축할 회사는 없을 것임
    설령 어떤 회사가 그 위험을 감수할 만큼 어리석다 해도, Anthropic은 모든 기업 고객에게 전 직원 여권을 제출하게 하고, Mythos 접근을 통제하려고 각 직원별 Claude 계정을 만들게 할 것인가
    단순한 API 키로는 더 이상 충분하지 않게 됨

    • 첫인상은 AI에 유리천장이 생겨 시장을 강하게 때릴 것이라는 느낌이었음
      시점도 금요일 장 마감 무렵의 “폭락을 피하자” 순간과 맞아떨어졌고, 월요일에 어떻게 흘러갈지 봐야 함
      다른 답글들처럼 정부와 Anthropic 사이의 무릎 꿇리기이기도 함
      OpenAI가 따라잡고 Anthropic도 변호사들을 붙이면, 아마 뒤집히거나 “모델은 미국 AI 승인 도장을 받아야 하며, 따라서 새 미국 검증 Fable 5.1을 승인한다”는 식으로 변형될 것임
      그 시점은 DoD, Pentagon, 관련 기관에 대규모 배포되는 때와 맞물릴 가능성이 있음
      아니면 중국이 따라잡을 테니 말도 안 된다는 식으로 흘러갈 것임
    • 미국 정부가 Opus나 다른 모델에도 똑같이 하면 어떻게 되나
      그런 방식의 금지에서 안전한 모델은 없음
    • 정확히는 Opus 4.8보다 나은 미국 AI 모델에 대한 이야기임
      많이 비난받는 EU AI Act는 AI 개발의 기반으로 삼을 수 있는 안전하고 예측 가능한 규제 틀을 제공함
      미국 행정부의 예측 불가능하고 자의적인 결정에 비해 법적 안정성을 줌
      AI 회사들이 조금이라도 분별이 있다면 유럽 이전을 고려하는 편이 좋음

  • Fable에 과도할 정도의 보안 프로토콜이 도입됐던 점을 생각하면, 이 일은 몹시 수상함
    미국 정부가 경제에 영향력을 행사하며 Anthropic에 IPO는 무릎을 꿇느냐에 달렸다는 신호를 보내는 중임

  • 지난 몇 달 사이 Anthropic보다 OpenAI를 훨씬 더 신뢰하게 됐음
    Dario Amodei의 글을 행간까지 읽어보면, 그는 ASI를 인류를 위한 완벽하고 오류 없는 통치자로 믿는 독단적 신봉자이면서 꽤 극단적인 미국 민족주의자처럼 보임
    회사도 마찬가지로 이념적으로 한 줄에 서 있는 듯함
    그들이 자기들과 이념적으로 정렬됐다고 믿는 폭주 ASI를 허용하거나 의식적으로 만들 가능성도 상상할 수 있음
    OpenAI는 대체로 덜 독단적이고 더 실용 지향적으로 보임
    특별히 좋은 회사라는 뜻은 아니지만, 적어도 평범한 회사가 어떻게 행동할지는 예측할 수 있음

    • OpenAI 쪽 리더를 두고 “병적인 거짓말쟁이”라는 얘기가 있는 걸 생각하면, Anthropic보다 OpenAI를 더 신뢰한다는 말은 꽤 놀라움
    • 사람들이 500달러를 위해서도 무슨 짓을 하는지 봤다면, 모르는 사람들을 전혀 신뢰하기는 불가능해 보임
      하물며 수백만, 수십억 달러의 유인이 걸린 사람들은 더더욱 그렇다
      상속 문제로 자기 가족에게 무슨 짓을 하는지도 봤을 텐데, OpenAI를 “신뢰”한다는 건가
      “누가 순진한 거지, Kay?” - Godfather
    • 행간을 읽을 필요도 없이, CEO가 인터뷰와 글에서 거의 노골적으로 그렇게 말했음
      몇 주 전에도 같은 점을 적었고 https://news.ycombinator.com/item?id=48341224, 최근 블로그 글들을 보면 남은 의심도 완전히 사라질 것임

  • 정부가 사람들이 접근하도록 “허용”할 수 있는 한계점이 여기가 될 수 있다는 얘기가 HN과 Reddit에서 이미 나오고 있음
    수요가 아무리 많아도 정부가 주지 않으면 아무 소용이 없음
    암시장 LLM은 William Gibson 소설에서 바로 튀어나온 설정 같음

  • 요약이 좋았고, 읽으면서 강한 암호화 논쟁이 떠올랐음
    “우리는 실제로 이루고 싶은 것이 아니라 측정할 수 있는 것을 최적화한다. 둘이 같기를 바라지만, 자주 그렇지 않다”는 문장이 LLM의 핵심 문제를 짚음
    모델이 모든 사람과 모든 의도에 대해 안전하게 정렬되도록 보장하는 것은 불가능하거나 극도로 비싸다고 봄
    게다가 “안전”은 대상에 따라 서로 다른 의미가 될 수 있음

답변달기