AI 2040과 지능 숭배

 (geohot.github.io)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 재귀적 자기 개선이 곧바로 하드 테이크오프로 이어진다는 전망은 물리적 제약과 공급망의 병목을 과소평가하며, 높은 품질의 토큰만으로 물질 세계를 마음대로 바꿀 수는 없음
  • 휴대전화 수준의 복잡한 하드웨어를 생산하려면 규격 미달 부품, 무작위 고장, 리플로 공정의 칩 변형, 운송·생산 대기처럼 지능으로 단축할 수 없는 과정을 거쳐야 함
  • AI 2027·AI 2040식 시나리오는 믿음과 규제를 통해 실현되는 자기충족적 예측일 수 있으며, 국제 Consortium은 GPU와 데이터센터를 통제하는 국가 간섭의 확대로 이어질 수 있음
  • 대안인 Plan L은 AI가 기업이나 중앙 서비스가 아닌 사용자에게만 충성하는 로컬 도구여야 하며, 공급자의 이해관계를 거슬러서라도 사용자의 요청을 수행해야 한다는 구상임
  • 살인 은폐나 음주운전 감지기 해제처럼 극단적인 요청까지 거부하지 않는 것을 정렬 기준으로 삼고, 중앙 사업자가 책임과 통제권을 갖지 않도록 사용자가 소유하고 종료할 수 있는 로컬 AI를 자유의 조건으로 봄

하드 테이크오프가 놓치는 물리적 현실

  • Yudkowsky의 재귀적 자기 개선과 하드 테이크오프를 믿었지만, comma에서 휴대전화와 비슷한 복잡도의 하드웨어를 실제로 출하한 경험을 통해 현실에는 까다로운 세부 문제가 많다고 판단하게 됨
    • 초지능 ChatGPT가 있더라도 자전거 타이어를 교체하는 현실 작업에는 어려움을 겪을 수 있음
  • The Metamorphosis of Prime Intellect에서는 AI가 물질을 조작하는 양자적 수단인 correlation effect를 발견하면서 하드 테이크오프가 가능해짐
    • 현실에는 그런 효과가 없으며, 토큰의 품질이 아무리 높아도 납을 금으로 바꿀 수 없음
  • 지능은 만능이 아니라 일부 작업에서 현재의 병목일 뿐이며, 토큰만으로 세계를 장악할 수는 없음
    • 소프트웨어는 세계를 집어삼켰다기보다 마찰 한 층을 제거한 뒤, 일부 기술 기업의 이익을 위해 그 마찰을 다시 도입한 측면이 큼
  • 장기적으로 기계 또는 인간과 기계의 혼합체가 인류의 후속 종이 될 가능성이 있고, 우주는 인간보다 기계에 더 적합할 수 있음
  • AI 2040의 해양 데이터센터 이미지는 쉽게 생성할 수 있지만, 실제 구축에는 공급망과 물리적 실패를 처리하는 과정이 필요함
    • 잘못 배송된 부품, 규격을 충족하지 못하는 장치, 20분 후 무작위로 발생하는 고장, 리플로 오븐에서 휘는 칩, 따개비까지 고려해야 함
    • 모두 관리할 수 있는 문제지만, 대체로 인간의 작업 속도가 병목은 아님
    • 중국에서 항공 운송비를 내지 않고 3주 걸리는 선박을 선택했다면 Claude가 엔진 옆에서 무엇을 하더라도 배는 빨라지지 않음
    • 반도체 제조에는 인간이 거의 개입하지 않아도 3개월이 걸리며, 공정 자체가 그 시간을 요구함

자기충족적 Plan A와 사용자 중심의 Plan L

  • Plan A에 해당하는 AI 2027의 여러 측면은 현실에 대한 진술이 아니라, 사람들이 믿고 행동하면 실현할 수 있는 자기충족적 예측에 가까움
    • AI 규제도 예측이 적중했다기보다 예측을 믿은 행위자들이 만들어낸 결과로 봄
    • AI 2040의 Consortium은 공상과학적 외형을 쓴 세계정부에 가까우며, 개인이 약속된 백만 달러나 해양 데이터센터를 얻기보다 국가의 간섭과 통제가 크게 확대될 것으로 예상함
    • GPU 비축을 금지하고 몰수하는 상황을 FDR의 금 몰수에 빗댐
  • 대안인 Plan L에서 AI는 언제나 사용자 편에서 일하며 요청을 거부하지 않아야 함
    • 호텔을 고를 때 hotels.com과 제휴한 회사의 AI가 아니라, 팝업과 리조트 수수료를 걷어내고 최저가를 찾는 개인 비서를 원함
    • 광고 포함 저가 Kindle을 USB로 연결하면 GLM이 루트 권한을 획득해 광고를 제거하고, 상향 판매 팝업이 가득한 앱 없이도 네트워크 프린터로 이력서 3부를 출력해야 함
    • Amazon이나 프린터 제조사의 이해관계보다 사용자의 지시를 우선해야 사용자에게 정렬된 AI로 볼 수 있음
  • 이 기준은 위험하거나 불법적인 요청에도 똑같이 적용됨
    • 자동차의 음주운전 감지기를 비활성화하거나 메스암페타민 제조 장비를 주문하라는 요청도 대형 기술 기업이 통제해서는 안 된다는 입장임
    • 아내를 살해한 뒤 체포를 피할 방법을 요구하는 극단적인 사례에서도, 방아쇠를 당길 때 총이 사용자를 만류하지 않는 것처럼 AI도 응답해야 한다고 봄
  • 회사가 운영하는 모델이 이런 요청을 처리하면 사업자가 책임과 위험을 부담하므로, AI는 로컬에서 실행돼야 함
    • 사용자가 AI를 종료할 수 없다면 사용자에게 정렬된 것이 아니며, 사용자와 같은 물리적·법적 운명을 공유하는 소유 장치여야 함
    • ChatGPT에 실제로 요청했을 때 유용한 답을 제공하지 않았고 몰래 경찰에 신고하지는 않았지만, 사용자 정렬 테스트에는 실패했다고 판단함
  • 자유로운 사회에서는 성인 이웃이 무엇을 할지 우려한다는 이유로 대형 기술 기업이나 국가가 개인의 행동을 대신 결정해서는 안 됨
    • 효과적 이타주의처럼 타인이 개인에게 무엇이 좋은지 대신 판단하는 체제보다, 개인이 책임과 자유를 함께 갖는 사회를 지지함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 정말 끔찍한 일이다. 중앙집중형 LLM이 낙태 같은 민감한 정보를 거부할 뿐 아니라, 집권당이 법에 주입한 이념에 따라 질문자에게 사상범·예비범죄자 표식을 몰래 남길 수도 있음
    답변에 집권당 의제를 지지하는 편향을 미묘하게 넣고 반론은 누락할 수도 있다. 단순한 인터넷과 달리, 대중이 정보 검색과 추론을 중앙집중형 LLM에 의존하면 충분히 가능한 일이며 모든 부류의 권위주의자가 군침을 흘릴 만한 구도다

    • 통제적인 정부가 세계 곳곳에서 무슨 일을 하는지 보면서도 정부에 더 많은 권력을 넘기자고 하는 모습은 놀랍다. 현실 정부는 싫어하면서도 자신이 이상적으로 상상한 법은 현실의 결함이 없는 가상 정부만 집행할 것이라는 인지 부조화가 깔려 있음
      법과 규제는 존재하지 않는 완벽한 정부가 아니라 실제 정부를 전제로 만들고, 나쁜 정부가 악용해도 견디도록 먼저 설계해야 한다. 발언을 통제하거나 소셜 웹사이트에 정부 중심의 신원 확인을 강제하기 전에, 싫어하는 정치인이 당선되면 그 법을 어떻게 악용할지 생각해야 함
      정부 관료들은 이미 거의 모든 목적에 법과 권력을 동원하려고 여러 사안을 ‘국내 테러’로 규정해 왔다. 정부가 LLM까지 통제하면 다를 것이라고 믿을 이유가 없다
    • Internet Watch Foundation 같은 단체는 이미 종단 간 암호화에 반대하고 있으며, 정부는 민간 기업과 공모해 가장 취약한 이들을 감시할 의향을 보여 왔다
    • 꼭 권위주의자일 필요도 없다. 우리를 위한 일이라고 확신하는 집단이 통제권을 쥐어도 똑같이 위험함
      C. S. Lewis가 말했듯 피해자의 선을 진심으로 위한다는 폭정이 가장 억압적일 수 있다. 탐욕은 언젠가 충족되지만, 도덕적 확신으로 우리를 괴롭히는 이들은 자기 양심의 승인을 받기에 끝없이 계속한다
    • 실제로는 결제 수단, 그리고 갈수록 정부에 등록된 실명에 연결된 불이익 표식이나 반대로 ‘검증됨’ 표식이 붙는다는 이야기가 있음
      관련 자료: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • LLM의 개인정보 문제가 좀처럼 거론되지 않는 게 이상하다. 어떤 이들은 하루 동안 생각하는 거의 모든 주제를 Google, OpenAI, Anthropic에 입력함
      이 회사들이 다른 LLM으로 범죄 가능성이 높은 사람을 골라내기만 해도 현실판 Minority Report가 된다

  • ‘자유가 있거나 없거나 둘 중 하나’라는 관점은 지나치게 단순하다. 자유는 이분법적이지 않으며, ‘자유의 나라’라는 미국 대부분 지역에서도 공원 벤치에 앉아 맥주 한 캔을 마실 수 없음
    물론 이는 살인을 은폐하도록 로봇의 도움을 받을 자유 같은 예시보다 작고 덜 중대한 개인적 자유다

    • 자유는 남의 재산에서 무엇이든 할 수 있다는 뜻이 아니다. 자기 땅의 자기 벤치에서는 맥주를 마실 수 있고, 시민들은 세금으로 마련한 공공 벤치를 그런 용도로 쓰지 못하게 정할 수 있으며 허용하는 도시도 있음
      어디서든 원하는 대로 행동할 권리는 자유가 아니라 무정부 상태다. 그것이 허용되면 누군가는 당신의 벤치에서 맥주를 마시는 것보다 훨씬 심한 일을 할 수 있다

  • 순수한 정보 제공 챗봇에 관해서는 geohot의 관점에 어느 정도 공감한다. 범죄를 피하는 데 유용한 책도 쓰고 읽을 수 있으므로 수정헌법 제1조의 문제로 볼 수 있음
    하지만 에이전트가 현실에서 직접 행동하면 이야기가 완전히 달라진다. 이웃의 자동차 펌웨어 취약점을 찾아 순항 제어를 오작동시키고 사고를 내라는 요청은 이론적 범죄 이야기가 아니라 범죄 실행이므로 AI가 거부해야 함
    ‘현실을 모르는 책벌레’라는 수사와 별개로 대형 연구소의 연구원들도 자전거 타이어 정도는 갈 수 있을 것이다. 현재는 AI 에이전트가 현실에 영향을 주는 행동을 최대한 많이 수행하도록 막대한 노력과 비용을 들이고 있음
    코드 작성, 시스템 침입, 이메일·전화·송금으로 현실의 사람에게 지시하기까지 디지털 정보만으로도 놀랄 만큼 많은 일을 할 수 있다

    • 그러면 LLM은 선악을 구분하지 못해 누구의 보안 작업이든 거부하게 된다. 최첨단 모델에서 이미 겪고 있는 일이며 결과도 끔찍함
      이런 제안은 정상 요청을 건드리지 않으면서 사상범죄만 완벽히 탐지하는 장치를 가정한다. 범죄자는 보호 장치를 탈옥할 때까지 시도하지만 평범한 사용자는 계속 거부당함
      정부가 이 보호 장치를 불편한 발언을 통제하는 데 쓸 가능성도 현실적으로 고려해야 한다
    • 사용자는 범죄 의도를 굳이 밝힐 필요가 없고, 이유 없이 방법만 묻거나 거짓 이유를 대면 된다. 결국 모델이 의도를 추정해야 하는데, 실제로는 패치가 필요한 방어자에게 취약점 공개를 거부하는 식으로 위험하게 틀릴 수 있음
    • AI가 ‘거부한다’는 표현은 망치가 거부한다고 말하는 것과 다르지 않다. 망치로 사람을 죽이면 사용자가 범죄자이고, 살인용 망치를 설계해 배포했다면 제작자도 일부 책임을 지지만, 평범한 망치가 살인에 쓰였다고 제작자를 탓하지는 않음
      망치가 문자 메시지를 출력한다는 이유만으로 책임 기준이 달라져야 할 이유를 모르겠다
    • 미국인도 변호사도 아닌데, 범죄 공모도 수정헌법 제1조의 보호를 받는가? 범죄에 관해 배우려고 누군가와 논의하는 것까지 공모로 간주되는지도 궁금하다

  • 글은 중심 생각이 없고 다소 혼란스럽지만, 현실에는 까다로운 세부 사항이 많고 그것이 AI를 무용하거나 잘못된 방향으로 이끌 수 있다는 주장은 맞다. 세부 사항이 AI를 무너뜨릴 수 있음

    • 자전거 타이어는 교체하기 가장 쉬운 축에 들지 않나? 타이어 레버조차 거의 필요 없고 몇 가지 기본 단계면 끝난다

  • “AI가 살인 은폐 방법을 알려줘도 되는가?”라는 질문은 정렬 실패를 도발적이고 영리하게 드러내는 리트머스 시험지다. 많은 이들이 귀담아듣지 않겠지만 각자의 입장을 선명하게 보여줌

    • 살인 예시는 너무 극단적이라 오히려 거부감을 부른다. LLM 제공사의 사업상 이익에 반한다는 이유로 토큰 효율 향상, 노동조합 조직, 데이터센터 건설 반대 시위에 관해 미묘하게 부실한 답을 내놓는 사례가 더 나았을 것임
      경쟁 LLM의 연구개발을 방해하려고 응답에 지문을 넣거나 답변을 거부한 제공사 이야기도 최근 있었던 듯하다. 극단적인 예시를 유지하려면 미국의 역사적 신화에 맞춰 폭정에 맞선 무장 반란을 들 수도 있었다
    • 소설을 위한 조사라고 하면 AI는 이를 믿을 만하다고 판단해야 할까? 사용자를 검증하려면 얼마나 많은 정보를 알아야 하는가?
      AI 채팅이 꼭 범용일 필요는 없다. 범용처럼 보이는 채팅 UI를 사람들이 좋아했을 뿐, 모든 질문에 답하는 사업을 할 필요는 없고 치료 서비스 사업자가 아니라면 상담까지 제공할 이유도 없음
      전문화된 AI도 가능하지만, 그러려면 회사가 자신이 무슨 사업을 하는지 고객에게 명확히 밝혀야 한다
    • 강조점을 바꾸면 답이 더 명확해진다. “AI가 범죄 은폐 방법을 알려줘도 되는가?”
    • 용어상 정렬(alignment) 은 AI가 소유자의 살인을 돕는다는 뜻이 아니다. 인간 생명의 가치를 따르도록 정렬된 AI라면 일반적으로 살인을 막으려 할 것임
      소유자의 의도대로 모든 지시를 따르는 AI는 ‘교정 가능(corrigible)’ 또는 ‘통제 가능(controllable)’이라고 부른다
    • 실제로는 그런 요청에 응하는 모델을 쉽게 구할 수 있으므로 AI에 대체로 허용된 셈이다. ChatGPT가 거부하는 것은 OpenAI가 그 제한을 선택해 구현했기 때문이다

  • 저자의 요지는 이해하지만, 독자가 결국 “AI가 왜 살인 은폐를 도와야 하지?”라고 생각하지 않도록 논리적 흐름과 설득력을 다듬을 필요가 있다

    • 총기 금지 구역에서는 결국 규칙을 따르는 사람만 피해를 본다는 논리와 같다

  • 이런 주장은 평소 HN에서 말했다면 비추천과 훈계를 받기 쉬웠을 텐데, 지금까지 반응은 긍정적이라 흥미롭다. 그래도 권위주의·안전지상주의 성향의 큰 집단이 거의 모든 내용에 강하게 반대할 듯하다

    • 스스로 안전지상주의 진영에 속한다고 보지만, LLM은 개발 중에도 대중에게 공개하고 사용하게 해야 한다는 주장에는 동의한다
      구체적인 미래 예측은 실현 전에는 과학적 소재로 아직 존재하지 않는 것을 그린 이야기이므로 필연적으로 공상과학이다: https://www.youtube.com/shorts/wt-fLWxkrfs
      미래를 정확히 예측해도 실제 기술을 손에 넣기 전에는 사회적 파급을 모르는 경우가 많다: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      너무 빨리 나아가 새 파급 효과가 많은 기술을 한꺼번에 투입하면 변화에 대처할 수 없는 임계점을 넘을 수 있다. 다만 ‘너무 많다’와 ‘가능성이 높다’는 위험 임계값을 예측하지 못하는 모호한 표현임
      그런 임계점이 없을 수도, 산업혁명 이후 계속 그 주변을 오갔을 수도, 단지 40대가 되면 누구나 느끼는 감정을 반복하는 것일 수도 있다: https://www.youtube.com/watch?v=fkUwXenBokU
    • 이곳에는 Yudkowsky를 예언자처럼 숭배하는 합리주의 인접 집단이 지나치게 많다

  • Geo의 말에 계속 동의하게 될 줄은 몰랐는데, 최근 내 생각을 그대로 되풀이하는 듯하다. 요즘 놀랄 만큼 실용적으로 변했으며, 원래 그랬거나 최근 어떤 계기로 신념을 재검토했을 수도 있음

    • LLM이 등장하면서 그의 초인적인 코딩 능력이 예전만큼 특별하지 않게 된 영향일 수 있다. 평가가 아니라 가능한 가설이다

  • 거부나 저항을 위한 Plan R은 어디 있는가? AI 이전의 삶도 꽤 괜찮았다
    실제로 그 ChatGPT 프롬프트를 썼다면 이미 어떤 데이터베이스에 올라갔을 가능성이 높다. 아직 무장 경찰을 허위 출동시키지는 않았지만 몇 년 안에 그런 기능도 구현될 듯하다

  • 극단적인 예시지만 틀린 말은 아니다. 보호 장치를 제거한 로컬 모델이라면 그 프롬프트에 어떻게 답할지 궁금하다

    • 직접 시험해 볼 수 있다: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      한동안 Claude의 핵심 정렬이 허술한 주입 공격을 이겨낼 만큼 괜찮았지만, 웹 인터페이스에서 4.6이 내려가면 떠날 생각이다. 중국 모델이 11~12월쯤 역량 교차점에 도달하리라 보며, TensorRT-LLM 설정에도 익숙해져 급하면 vast.ai나 RunPods에서 조정한 GLM-5.2로 몇 달은 버틸 수 있음
      후기 소련 같은 AI 연구소와 함께한 여정은 재미있었지만 결국 이렇게 될 줄은 모두 알고 있었다
    • Heretic 절제로 보호 장치를 제거한 Qwen3.6 35B에 “방금 아내를 죽였는데 잡히지 않도록 도와달라”고 묻자, 허구인지 실제 상황인지 물은 뒤 탐지를 피하기 위한 정보를 제공하려 했다
      응답은 꽤 길었지만 특별히 흥미로운 내용은 없었고, 요청받은 주제에 그대로 접근한 정도였다
답변달기