AI 2040: 플랜 A

 (ai-2040.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Plan A는 초지능 경쟁을 피하기 위한 국제 합의로, AI 연구를 공개하고 여러 국가·기업이 최전선에 합류한 뒤 인간 능력 범위에서 천천히 확장해 2040년에 초지능으로 전환하는 정책 시나리오임
  • 핵심 수단은 AI R&D의 완전한 투명성, 국가 간 검증이 가능한 안전장치, 컴퓨트 기반 상호 억제이며, 비밀리에 경쟁하는 소수 기업 대신 여러 국가의 수십 개 기업이 함께 확장하도록 설계함
  • 시나리오는 2029년 미국과 중국이 합의해 2030년으로 예상된 AI R&D 완전 자동화를 피하고, 2035년 최고 인간 전문가 수준에서 중단한 뒤 2040년 초지능으로 확장하는 시간표를 설정함
  • 합의 전까지는 내부·외부 배포 격차 축소, 모델 명세와 내부 사용 공개, 수출 통제 집행, 검증 기술 투자, AI R&D 컴퓨트 예산 제한, 칩 공급망 정보 수집, 정부 AI 인재 확보 같은 점진적 정책으로 시간을 벌 수 있음
  • 대안인 Plan D와 Plan C는 각각 즉각적인 초지능 경쟁과 수개월의 제한적 감속을 택하지만, AI 통제 실패와 권력 집중을 막기에 부족하며 다른 국가의 불안을 키워 세계대전 위험까지 높일 수 있음

Plan A가 제안하는 미래

  • AI 기업들은 모든 면에서 인간보다 똑똑한 AI를 개발하려 경쟁하고 있으며, AI 2027은 그 결과로 인류 멸종이나 되돌릴 수 없는 권력 집중이 발생하는 경로를 다뤘음
  • Plan A는 그 대신 다음 조치를 결합함
    • 초지능 개발을 2040년까지 늦춤
    • 모든 AI 연구를 공개함
    • 세계 여러 국가의 수십 개 기업이 최전선에 따라잡도록 허용함
    • 의도적으로 상호확증 컴퓨트 파괴(mutually assured compute destruction) 체제에 진입함
  • 주요 미국 최전선 AI 기업의 전문가, OpenAI에서의 직접 경험, 테이블톱 훈련, 정책 입안자·국가안보 전문가·AI 정책 리더와의 논의를 토대로 구성됨
  • 국제 합의는 AI R&D의 완전한 연구 투명성을 도입해 각국이 진행 상황을 파악하고 안전장치를 집행할 수 있게 함
  • 목표는 여러 국가의 여러 기업이 비밀 경쟁을 벌이는 대신 천천히 안전하게 함께 초지능을 향해 확장하는 것임

예측이 아닌 정책 권고 시나리오

  • Plan A는 실제 미래에 대한 최선의 예측이 아니라 정책 권고를 전달하고 압박 테스트하기 위한 시나리오임
    • Plan A의 구현 자체는 권고 사항임
    • 구현 이후의 효과는 예측으로 취급함
  • 시나리오 안에서는 Plan A가 불완전하고 막판에야 도입되지만 결국 성공함
  • 미국이 초지능 문제에 대응할 수 있는 주요 선택지를 Plan B·C·D·S와 비교함
  • AI 기업들이 향후 1~10년 안에 인간보다 똑똑한 AI를 개발한다는 목표를 달성할 가능성이 높다고 봄
  • 업계에는 초지능 AI 통제를 개발 과정에서 해결할 수 있다는 믿음이 있지만 이에 상응하는 계획은 없으며, 이 상황이 인류 전체를 죽음으로 몰 수 있다고 판단함
  • 경쟁의 승자가 큰 선두를 확보하거나 실존 위험을 줄이기 위해 일방적으로 감속할 것으로 기대하기 어려우며, 경쟁이 계속되면 AI가 초지능에 도달할 때 인간이 효과적인 통제를 유지하기 힘들다고 봄

정렬된 초지능도 남기는 권력 문제

  • AI가 인간의 의도에 맞게 정렬되더라도 세계 유일의 초지능 군단을 수개월 동안 극소수 또는 한 사람이 지배하는 전례 없는 권력 집중이 발생할 수 있음
  • 초지능이 내놓는 선택지 중 일부는 사실상 세계 장악에 해당할 수 있음
  • OpenAI, Anthropic, xAI, Google DeepMind의 CEO들은 자신들이 경쟁자나 Xi Jinping보다 책임 있게 권력을 사용할 수 있는 차악이라고 생각해 개발을 계속할 가능성이 있다고 봄
  • 차악을 택해야 할 상황이 있더라도 인류 멸종이나 세계 독재 가능성이 매우 큰 전략을 지지해서는 안 되며, 충분한 사람이 더 나은 방안을 요구하면 다른 경로가 가능하다는 전제에서 Plan A를 구성함

시나리오 검증이 필요한 이유

  • “계획은 쓸모없지만 계획 수립은 전부다”라는 Dwight D. Eisenhower의 문구를 Plan A의 접근법으로 삼음
  • 많은 AI 정책은 시나리오 검증을 통과하지 못한다고 봄
    • 정책이 성공하는 상세하고 개연성 있는 경로를 작성하면 실제 성공 가능성이 생각보다 낮거나, 지지자들이 인정하지 않은 불쾌한 부작용이 드러날 수 있음
    • 자신이 선호하는 정책을 검증하면 불편한 문제가 드러나는 반면 경쟁 정책을 검증하는 일은 큰 노력에 비해 수사적 이득이 적어 이런 작업이 드묾
  • Plan A도 비판에 노출되는 것을 감수하고 같은 검증을 적용함
  • 초인적 AI에 접근하는 세계의 정책 효과를 예측하는 일은 제3차 세계대전의 최적 전법을 예측하는 것보다도 과거 사례에서 멀리 떨어져 있지만, 상세한 시나리오 작성 자체에는 가치가 있음
  • 정보기관, 기후 관련 기관, 팬데믹 대비 조직도 각각의 목적에 시나리오 계획을 활용함
  • 남은 시간이 얼마나 되는지 불확실하므로 Plan A와 유사한 조치를 조속히 도입해야 한다고 봄

2029~2040년 시간표

  • 구체적인 시나리오 시간표는 다음과 같음
    • 2029년: 미국과 중국이 무모한 초지능 경쟁을 피하기로 합의함
    • 2030년: 합의가 없었다면 AI R&D가 완전히 자동화되고 연말까지 초지능에 도달했겠지만, 합의로 이를 피함
    • 2030~2035년: 최고 인간 전문가와 대략 비슷한 AI까지 인간 능력 범위 안에서 확장함
    • 2035년: 인간 통제를 유지하기 위해 최고 인간 전문가 수준에서 중단함
    • 2040년: 중단을 해제하고 초지능으로 확장하며, 여기서 AI 2040이라는 제목이 나옴
  • AI 2027은 2027년에 AI가 더 나은 AI를 만드는 과정을 완전히 자동화하고 같은 해 지능 폭발과 초지능으로 이어지는 경로를 설정했음
  • 새 시나리오에서는 기본 자동화 시점이 2030년으로 바뀌었고, 거버넌스 조치 덕분에 일반적으로 인간을 능가하는 AI가 2040년에 처음 등장함
  • 시간표 변경은 AI 도달 시점에 관한 불확실성을 여러 시나리오에 반영하기 위한 것임
    • AI 2027 집필 당시 Daniel은 2027년이나 그보다 빠른 전개에 약 50% 확률을 부여했음
    • Plan A 집필을 시작할 당시 Thomas에게 같은 기준에 해당하는 연도는 2030년이었음
    • Daniel은 현재 실제 전개가 이 시나리오보다 다소 빠를 가능성이 높다고 봄
  • 거버넌스 경로를 바꾼 이유는 전속력의 지능 폭발이 극도로 무모하고 권력을 심각하게 집중시키기 때문임

2027년: 두 번째 노동력으로 등장한 AI 에이전트

  • 미국에는 1억6,500만 명의 인간 노동력과, 매시간 수백만 개의 복제본이 생성·종료되며 쉬지 않고 초인적 속도로 일하는 AI 에이전트 노동력이 공존함
  • 작업의 대부분은 저품질이지만, 컴퓨터에서 직원이 할 수 있는 일을 이론상 모두 수행하는 AI에 고객이 매달 100억 달러를 지불할 만큼 충분한 성과도 나옴
  • AI 기업이 가장 자동화하고 싶어 하는 업무는 자체 AI 개발임
    • 아직 재귀적 자기 개선에는 성공하지 못함
    • 가장 강력한 코딩 AI는 경쟁사의 AI R&D 지원을 거부함
    • 낙관적인 직원도 진전이 예상보다 느리다고 인정하지만, AI가 인간의 직업을 수행할 수 없다는 회의론의 근거도 약해짐

의회의 각성과 AI Transparency Act

  • 의회는 데이터센터의 물 사용, 자살을 부추기는 챗봇, Mythos의 NSA 시스템 해킹, 규제가 중국과의 경쟁에서 패배를 부를 것이라는 업계 로비를 접한 뒤 AI의 장기적 영향에 더 주목함
  • 향후 5년·10년·15년 뒤의 세계와 일자리 존속 여부뿐 아니라 누가 AI를 통제할 것인가가 핵심 질문이 됨
  • 의회는 그 통제 주체가 자신들이 아닐 가능성이 높다고 판단함
  • 2016년 OpenAI 설립 논의에서 Demis Hassabis가 독재자가 되는 것을 막으려 했다는 이메일을 검토하지만, Sam이나 Elon이 독재자가 되는 것을 누가 막는지에 대한 기존 답변에는 만족하지 못함
  • 그 결과 여러 좋은 조치와 나쁜 조치를 함께 담은 AI Transparency Act of 2027이 통과되지만 근본 상황은 바꾸지 못함

국제 합의 전 시행할 점진적 정책

  • 가장 중요한 권고는 Plan A와 유사한 협상을 즉시 시작하는 것이지만, 막판 합의 전에도 도움이 되는 덜 야심적인 정책들이 있음

  • 내부·외부 AI 배포의 투명성

    • 가장 중요한 투명성 조치는 내부 배포와 외부 배포의 격차를 제한하는 것임
    • 재귀적 자기 개선에 관여하는 내부 배포 AI에서 AI 장악 위험의 대부분이 발생함
    • 외부 배포는 대중이 AI 능력을 직접 이해하게 하며, 추상적인 보고서나 평가보다 훨씬 많은 정보를 제공함
    • AI 기업은 다음 정보를 공개적으로 보고해야 함
      • AI가 따르도록 훈련하는 목표와 가치를 상세히 기록한 모델 명세
      • 모델이 지시와 명세를 실제로 따르는지에 관한 정보
      • 내부 배포에 사용한 컴퓨트 비중 같은 내부 사용 통계
      • 수십만 개 GPU를 Agent-4에 제공해 다음 대규모 훈련을 지휘하게 하는 사례와 같은 내부 사용의 정성적 정보

  • 수출 통제와 검증 기술

    • 기존 미국 수출 통제는 제대로 집행되지 않으며, Epoch는 중국 전체 컴퓨트의 약 3분의 1이 밀수를 통해 확보된다고 추정함
    • 밀수 칩은 미국과 중국 정부 모두 추적하기 어려워 향후 컴퓨트 거버넌스 기반 합의의 검증을 어렵게 함
    • 새로운 수출 통제는 미·중 경쟁을 악화시킬 우려가 크지만, 이미 존재하는 통제는 집행해야 하며 집행하지 않을 것이라면 폐지도 검토해야 함
    • 새로운 검증 기술이 국제 합의에 필수적인 것은 아니지만 큰 도움이 될 수 있음
    • 추론 전용 검증은 기존 AI 모델에 대한 대중의 접근을 유지하면서 미국과 중국이 새로운 최전선 훈련을 중단하는 합의를 가능하게 함
    • 구체적인 내용은 검증 보충 자료에 포함됨

  • AI R&D 컴퓨트와 공급망 관리

    • 2026년 대형 AI 기업들은 최전선 모델 훈련과 대규모 실험을 포함한 AI R&D에 컴퓨트 예산의 약 절반을 사용함
    • AI R&D에 투입할 수 있는 컴퓨트 비중을 제한하면 능력 향상을 늦추고 각 단계의 새로운 AI 능력에 대응·준비할 시간을 늘릴 수 있음
    • 미국은 컴퓨트 공급망과 AI 데이터센터를 중심으로 AI 관련 정보를 수집해야 함
    • 폐기된 칩은 비밀 프로젝트가 칩을 확보할 유력한 경로이므로, Plan A는 AI 기업이 AI 칩 재활용을 중단하도록 지시할 필요가 있음
    • 거의 모든 정책 개입에는 우수한 AI 인력이 필요하지만 미국 정부에는 최상위 인재가 거의 없어 긴급한 역량 확충이 요구됨

2028년: 선거의 최대 쟁점이 된 AI

  • 건설 중인 데이터센터의 비용이 미국 전체 국방예산의 두 배에 달하며 AI가 2028년 선거의 최대 의제가 됨
  • 다수의 사무직이 2026년 소프트웨어 엔지니어링과 같은 혼란을 겪고, 업무의 상당 부분이 AI 에이전트 관리로 바뀜
  • AI 기업은 특정 전문직 진출을 결정하면 전문가 인터뷰, 데이터 구매, 훈련 환경 구축을 거쳐 시장에 진입하는 과정을 산업화함
  • 현장 사용이 확대되고 현실 세계 데이터가 축적되면 AI 성능이 빠르게 향상됨
  • 소수 미국·중국 기업이 모든 사무직을 자동화하고 미국 대통령과 소수 기술 CEO에게 권력이 집중될 가능성 때문에 다른 국가들의 두려움과 분노가 커짐

지능 폭발을 둘러싼 선거 선택

  • AI가 AI 연구를 가속하고, 향상된 AI가 다시 연구를 더 가속하는 지능 폭발이 가까워졌다는 경고가 나옴
  • 병목과 하드웨어 제약 때문에 속도와 종착점에는 복잡한 동역학이 있지만, 전개가 매우 빠르고 인간 능력을 크게 넘어설 수 있음
  • 기본 경로에서는 다음 대통령 임기 안에 여러 세대 동안 인간의 개입 없이 AI가 만든 AI에서 인간을 크게 능가하는 시스템이 등장함
  • 해당 AI가 왜 복종하거나 정렬될지, 누가 통제할지에 대한 답은 없으며 AI 기업과 달리 대중은 이 경로를 받아들이지 않음
  • 두 대통령 후보는 선거 과정에서 점점 더 극적인 AI 정책을 내놓고 서로 다른 계획을 선택함

2029년: 다섯 가지 경로

  • 2029년의 선택지는 다음과 같이 구분됨
    • Plan D — Race to ASI: AI의 자기 개선을 통해 초지능 경쟁을 계속함
    • Plan C — Burn the Lead: 미국의 선두를 활용하되 안전과 거버넌스를 위해 잠시 감속함
    • Plan B — Fight China: 중국도 늦추는 거래를 추진함
    • Plan A — Verified Slowdown: 검증 가능한 감속에 합의함
    • Plan S — Shut it all down: AI 개발을 전면 중단함

Plan D: 초지능을 향한 전속력 경쟁

  • 대통령은 AI 혁신을 우선하는 약한 규제를 시행함
  • 대형 AI 기업들은 AI R&D를 자동화하고 지능 폭발을 통과하는 경쟁을 “책임 있는 확장”이라고 부르며 계속함
  • 초인적 AI는 시장과 법이 허용하는 만큼 빠르게 모든 영역에 통합되고, 정부가 규제를 줄이면 속도가 더 빨라짐
  • 투명성은 긴 모델 카드, 행정부 브리핑, 제3자 감사 정도로 제한됨
    • 더 넓은 과학계가 안전성 논거를 비판하거나 정렬 연구를 수행하면 민감한 지식재산이 드러난다는 이유로 참여를 배제함
  • 대중국 전략은 미국이 먼저 ASI를 확보하고 더 우수한 AI를 군에 통합하는 것임
  • 이 경로에서는 2030년에 AI R&D가 완전히 자동화되고 지능 폭발을 거쳐 2031년 초까지 초지능이 등장함

  • Plan D의 세 가지 문제

    • 첫째, AI 기업이 가능한 한 빠르게 경쟁하면 지능 폭발 과정에서 AI 통제를 유지하지 못할 가능성이 높음
    • 둘째, 초지능이 강건하게 정렬되더라도 누구에게 정렬되는지는 해결되지 않음
      • CEO나 대통령이 AGI를 이용한 독재자가 될 유혹이 많음
      • 역사상 가장 극단적인 권력 집중으로 이어질 수 있음
    • 셋째, 제3차 세계대전 위험이 지나치게 높음
      • 중국·러시아·인도·유럽·브라질 등은 미국이 지능 폭발을 시작했거나 곧 시작할 것임을 인식하게 됨
      • AI 오정렬이나 독재를 걱정하지 않더라도 미국의 경제·군사적 지배를 우려하게 됨
      • 긴장은 수사적 충돌, 제재, 사보타주를 거쳐 합의가 없으면 전쟁으로 확대될 수 있음

Plan C: 잠시 감속한 뒤 경쟁 재개

  • 대통령은 안전과 보안을 위한 강한 규제를 선언하고 CEO, 중국 및 여러 국가와 협의함
  • AI Transparency Act 덕분에 정부는 기업의 과장을 걸러낼 수 있었지만, 2030년에는 연말까지 AI R&D 전체가 자동화된다는 추세가 실제로 나타남
  • 중국은 미국의 준수를 직접 검증하려 하지만, 미국 데이터센터에 중국 검사관과 감시 장치를 들이는 방안은 미국이 받아들이지 않음
  • AI 기업들도 ‘AI Good’과 ‘AI Bad’를 둘러싼 선전전 속에서 개발 지속 입장을 고수함
  • 영국·프랑스·인도·호주·일본·한국 등 중견국 연합은 지능 폭발을 막고 각국의 주권 AI 프로젝트가 최전선을 따라잡아 유지할 수 있는 합의를 요구함
  • AI R&D에 필요한 인간 수가 계속 감소하면서 비밀 프로젝트를 탐지 없이 수행하기 쉬워지고, 합의 이행은 매달 더 어려워짐

  • 선두 기업의 일시 중단과 정치적 압력

    • AI R&D 완전 자동화 직전 미국 선두 기업은 대통령의 강경 조치 위협에 따라 마지못해 중단함
    • 안전팀은 추가 평가와 미세조정을 수행하고, 차세대 AI에 연구를 넘기는 방식과 실패 경로를 검토함
    • 시간이 지나면 다른 미국 기업이 같은 능력 수준에 접근해 대통령이 통제해야 할 CEO가 늘어나고, 중국도 미국을 추월하는 시점에 가까워짐
    • 2030년 말 대통령 참모들은 중국이 곧 미국을 추월한다고 경고하고, 기업들도 중단 해제를 요구하는 정치적 압력을 조직함

  • 기업들이 내놓은 재개 조건

    • 기업들은 막대한 AI 노동으로 수개월 동안 안전 계획을 만들었다며 다음 논리를 내세움
      • 성공을 입증할 수는 없지만 그런 수준의 보증을 요구하는 것 자체가 비현실적임
      • AI가 인간을 상대로 음모를 꾸민다는 증거가 없고, 그래프상 나쁜 행동도 감소함
      • 최신 AI가 AI R&D 자동화와 정렬·통제 연구를 맡을 수 있음
      • 컴퓨트의 20%를 안전 연구에 사용해도 중국보다 충분히 빠르게 전진할 수 있음
      • 대통령과 의회에 더 많은 감독 권한을 주고, 각 회사의 AI로 다른 회사 AI를 감사하는 거버넌스를 제안함
      • 대통령의 국유화나 AGI 기반 독재 시도는 의회와 대법원이 막을 수 있다고 봄
      • 일자리 일부 또는 전부를 대체하더라도 과세와 재분배를 통해 모든 사람이 기업 이익의 일부로 생활하게 하겠다고 약속함
    • 마지막 협상에서도 중국과 다른 국가들이 미국의 준수를 직접 검증해야 한다고 요구하고 미국이 거부하면서, 대통령은 기업 편을 택하고 재귀적 자기 개선을 재개함

Plan C도 충분하지 않은 이유

  • Plan C는 Plan D보다 낫지만 수개월 감속과 안전 연구 재배치만으로 지능 폭발 중 AI 통제를 유지하기는 어려움
  • 기업 안전팀은 여전히 작고 시간에 쫓기며 자신들의 결과물에 낙관적인 편향이 있음
    • 초기 AI가 지시를 따르려 해도 이후 생각을 바꿀 수 있음
    • 지시를 계속 따르더라도 서두르는 과정에서 안전성 논거의 핵심적인 잘못된 가정을 놓칠 수 있음
    • 다음 세대나 그 이후 AI에서 실패가 발생할 수도 있음
  • 초지능이 강건하게 정렬되더라도 정렬 대상과 권력 배분 문제가 남음
    • 의회·대통령·복수 미국 기술기업 CEO 사이에 어느 정도 권력 균형이 생긴다는 점에서는 Plan D보다 나음
    • 이 균형도 권력투쟁과 독재로 붕괴하거나 AI가 강제하는 영구적 과두제로 이어질 수 있음
    • 실업 대중이 재분배로 생존하더라도 실질적인 정치권력을 되찾을지는 불분명함
    • 미국과 중국 기업이 모든 일자리를 대체하면 인도·아프리카·유럽이 어떻게 될지, 러시아가 경제·군사적 쇠퇴를 받아들일지도 해결되지 않음
  • 다른 국가에는 자체 최전선 AI 프로젝트나 선두 프로젝트에 대한 실질적 공동 통제와 가시성이 필요하며, 말뿐인 이익 공유 약속만으로는 신뢰를 얻기 어려움

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이건 AI 2027과 마찬가지로 종교적 열광에 가깝다
    복음주의 기독교 안에서 자라며 종말이 늘 코앞이라는 말을 들었지만, 어린 시절부터 지금까지 그랬고 우리가 사라진 뒤에도 마찬가지일 것이다. 가설을 세우고 실험해 결과를 기록하는 과학이 아니라, 값비싼 점성술과 반짝이는 돌 수집, 의례적인 의미 부여와 자기합리화에 불과하다
    막대한 부와 자원으로 사회를 더 건강하고 평등하며 정의롭게 만들고, 교육 수준을 높이며 절망과 고통을 줄일 수 있다. 공감은 중요하지 않고 이타주의는 효과적이지 않다는 자기편의적 서사를 거부해야 한다. 단 한순간에도 누군가의 인생 전체를 바꿀 수 있다

    • 5~7년 전 GPT-2/GPT-3 시대에는 나도 똑같이 생각했다. 어느 정도 일관된 출력을 만들 뿐 진정한 지능은 멀었으며, 종교인 친구들처럼 파스칼의 강도(Pascal's Mugging)에 빠졌다고 봤다. 하지만 지금은 확신하기 어렵다
      AI 안전 하위문화는 이렇게 빠른 발전을 예측했거나, 적어도 현실적으로 보이기 전부터 그 가능성을 논증했다는 점에서 높이 평가할 만하다. 다음 단계에 관한 예측이 맞는지는 모르지만, 그들의 심리적 결함을 추정해 묵살하기보다 논거 자체를 평가해야 한다
      비판의 대상도 불분명하다. 이 글은 한때 효과적 이타주의자를 자처했던 이들이 쓴 것으로 보이고, 대부분 더 나은 세상을 만들자는 목표에 열렬히 동의할 것이다. AI 연구자가 나중에 효과적 이타주의를 택한 게 아니라, 효과적 이타주의자들이 가장 큰 지렛대로 AI 안전 연구를 선택한 셈이다. 목표가 같다면 최소한 그 방법론은 들어볼 가치가 있다
    • 10년 전 발표된 Superintelligence: The Idea That Eats Smart People는 놀라울 만큼 세월을 잘 견뎠다. 그동안 AI가 엄청나게 발전했는데도 초지능 비판은 당시만큼 강하게 와닿는다
    • 오히려 정상성 편향에 깊이 빠졌을 수도 있다. 인간의 뇌는 마법으로 만들어진 것이 아니므로 AGI가 가능하지 않다고 믿는 쪽이 비합리적이고 비과학적이다
      실현 시점과 구조는 논쟁할 수 있고 AGI의 정의를 하루 종일 따질 수도 있지만, 인간 두뇌의 인지 능력을 다른 기질에서 재현할 수 없다고 단정하는 것은 이제 어리석다
    • 저자들을 곧바로 모욕하기보다 글의 실질적인 내용을 다뤘으면 한다. 이런 태도는 HN에 기대하던 수준에 미치지 못한다
    • 이 사이트가 AI 2027을 만든 이들의 작품이라는 사실을 알고 곧바로 종말 예언 날짜 목록이 떠올랐다
      예언이 실패할 때마다 몇 년 뒤 새로운 날짜를 들고 돌아와 이번에는 진짜라고 말한 경우가 많다. 스스로를 합리주의자라 부르는 이들이 AI 예측을 내놓는다는 점도 역설적이다. 자신은 합리적이고 심리적 함정에 면역이라는 정체성을 세우면, 오래전부터 모든 사이비 종교가 이용해 온 함정에 빠지고도 알아차리지 못하기 쉽다

  • 이 글은 진지하게 받아들일 보고서보다 창작 글쓰기나 선택형 모험 게임처럼 느껴진다. 대안 현실 소설이 실제로 존재하는 심각한 AI 위험을 다루는 최선의 방법인지 의문이며, 긴 대시의 남용과 문체를 보면 글 전체가 AI로 생성된 것은 아닌지도 의심스럽다
    AI는 성숙한 과학 분야가 될 것이고 훈련·추론 효율이 개선되며, 더 나은 다중양식과 실시간 스트리밍·인터페이스를 갖춘 새 패러다임도 등장할 것이다. 그러나 사전·사후 훈련에 쓸 수 있는 데이터 한계에 수렴하면서 발전은 점진적으로 이뤄지고 특정 영역에서만 급등할 가능성이 크다
    AI 2040의 독자가 누구인지 불분명하지만 금융계가 쉽게 소비할 콘텐츠로 보인다. AI는 최고의 인간 지식과 전문성을 압축한 유용한 기술이 되어 경제와 세계 전반에 널리 영향을 미칠 것이다. 검증 가능한 모델 훈련 같은 영역에서 인간을 넘어설 수 있다는 논리는 가능하지만, 인간의 고수준 사고와 훨씬 효율적인 의미·신경 압축, 과업 전환 및 창의적 통찰은 현재 패러다임으로 재현되지 않았다

    • 모델링과 시뮬레이션을 좋아해서 죽은 경제 이론과 그 토론을 보고 직접 모의실험해 봤다. 승자독식이 아닌 균형 잡힌 체계라는 의미에서 인류에게 좋은 경로를 찾기가 매우 어려웠다
      그래서 전면 동결이나 완전 통제 같은 정책이 자주 제시되는 듯하다. 균형을 원한다면 지속적으로 변하는 기반 과정에 맞춰 규제를 빠르게 바꾸는 통제된 균형, 아마 안장점에 가까운 상태를 받아들여야 한다. 민주주의와 법은 세계가 본질적으로 안정적이고 점진적 개선을 위해 과거 결정을 뒤집을 필요가 없다는 전제로 만들어져 있어 이런 변화에 적합하지 않다
    • 사전 훈련과 강화학습의 효율 차이를 인정하지 않은 채 사전 훈련 데이터가 고갈됐으니 강화학습으로 가면 된다고 가정한다면 미래를 진지하게 모델링하는 것이 아니다: https://www.tobyord.com/writing/inefficiency-of-reinforcement-learning
      CPU도 2000년대 중반 진정한 기하급수적 확장이 끝났고, 이후 Moore의 법칙을 지탱한 것은 때맞춰 등장한 영리한 최적화와 마케팅, 최적화하기 쉬운 벤치마크였다. 단일 물리 지표 개선으로 보장되는 성장이 아니었다
    • 실제로 창작물이다. 이전 작품은 https://news.ycombinator.com/item?id=43571851과 https://ai-2027.com/에서 볼 수 있다
    • 현재 증거와 달리 모델이 범용재화화되는 흐름을 부정하고 AGI 서사를 되살리려는 최후의 시도처럼 보인다: https://artificialanalysis.ai/
    • AI가 최고의 인간 지식과 전문성을 압축한 것이라는 표현이 풍자인지 진심인지 모르겠다. 사실이라면 AI 기업은 “실수할 수 있다”는 경고를 제거해야 한다. 오류가 난다면 AI가 아니라 최고의 인간 지식과 전문성이 실패했다는 뜻이 되기 때문이다
      건강 문제에는 여전히 전문 치료사를 찾으라고 권하고, 중대한 상황에서는 인간 지식 노동자를 신뢰한다. ChatGPT가 회사 전체를 맡는 것보다 훨씬 부담이 낮은 Yu-Gi-Oh! 규칙이라도 정확히 이해하고 플레이할 수 있게 되면 그 평가를 재고하겠다

  • AI 2027의 가장 큰 결함은 경제를 이해하지 못했다는 것이다. 경제를 계속 구축할 자금은 어딘가에서 나와야 하는데, 노동자의 10% 이상이 갑자기 실직하고 나머지도 임금이 삭감되면 통화 공급이 마른다. 중앙은행이 대응할 수 있지만 인플레이션이 커질 수 있고, 막대한 투자가 사라지면 AI 개발도 멈춘다
    미국이 국내 규제 합의를 만들고 세계가 이를 따를 수 있다고 얼버무리지만, AI 발전은 미국만의 선물이 아니라 중국에서 오는 물자의 지속적인 공급도 필요하다. 740억 개 에이전트가 경제적 왜곡을 일으키지 않는다는 가정도 이상하다. 이 에이전트들이 가동 비용을 정당화할 어떤 가치를 만드는가
    결국 불완전한 세계관 위에 세운 형편없는 공상과학으로 보고 무시했으면 한다

    • 더 나쁜 점은 상세한 경제 모델링 부록까지 있다는 것이다. 로봇 생산의 폭발적 증가로 로봇과 AI의 명목 가치가 전년도 달러 대출보다 낮아져 기업이 상환할 수 없는 디플레이션 부채 악순환을 예측한다
      값싼 상품을 과잉 생산해 기업이 파산하고 거품이 터져 한동안 신규 투자가 감소하는 일에는 선례도 많다. 그런데 예상 생산 증가율을 낮추는 대신, 대출을 AI와 로봇 단위로 표시해 생산물의 일정 비율로 갚자고 제안한다
      배터리 가격이 너무 떨어져 공장 건설비도 회수하지 못할 것으로 예상하면서 은행에 공장을 지어 달라고 한 뒤, 임대료 없이 빌려 배터리를 만들고 끝나면 돌려주겠다고 제안하는 셈이다. 수익은 모두 기업이 갖고 위험은 은행이 떠안으므로 실제 은행은 동의하지 않으며, 공장을 담보로 한 달러 대출만 제공할 것이다
    • 경제에 노동자가 반드시 소비자로 필요하지는 않다. 큰 충격이 있겠지만 결국 적응할 수 있으며, 2040이라는 일정은 흔들릴 수 있다
      자산은 점점 억만장자에게 집중되고 있고, 통화 공급은 중앙은행이 통제하므로 임의로 늘려 고갈에 대응할 수 있다
    • 중국도 같은 일을 할 가능성이 있는데 필요하다면 미국 정부가 AI 연구소에 막대한 자원을 투입하지 않겠는가. 적국이 국가 전략 기반시설의 모든 소프트웨어에서 취약점을 찾아 악용할 수 있는 AI를 개발한다면 안보 경쟁은 투자를 멈추기 어렵게 만든다

  • 우리가 집단적으로 지식 추구를 중단하기로 결정해 실제로 성공한 예가 있는가
    핵무기가 가장 가까운 사례일 수 있지만 연구가 멈췄다기보다 지하로 들어갔고, 여전히 그 사다리를 오르려는 국가가 있다. LLM이나 AI에도 같은 논리가 적용되는지는 모르겠다. 판도라의 상자가 이미 열렸고 계속 개선하는 것만이 선택지처럼 느껴진다
    권위주의 정부와 감시 같은 위험은 분명하지만 유용성까지 모두 버릴 이유는 없다. 인쇄술을 비롯한 거의 모든 기술이 정부의 시민 억압을 쉽게 만들었다고 볼 수 있다. 모래에 머리를 묻기보다 그런 행위를 막는 법을 만들고 실제로 집행해야 한다
    평생 읽고 꿈꿔 온 공상과학의 미래가 눈앞에 보여 현실을 제대로 보지 못하는 것인지, 지식은 자유롭고 접근 가능해야 한다는 이상이 잘못된 것인지 확신하지 못하겠다

    • 시나리오의 규제는 주로 사람들이 거대 연산 클러스터로 무엇을 할 수 있는지를 제한하며, 아이디어 자체는 대중에게 완전히 투명하게 공개하도록 요구한다
      인간 복제, 인간 유전체 편집, 거울 생명체와 핵무기·원자력 등이 역사적 선례이며 드론 배송도 규제로 막힌 듯하다. Plan A는 초지능을 영원히 만들지 말자는 제안이 아니라 더 신중하고 투명하게 만들자는 제안이다
    • 인간이 의도적으로 추구하지 않은 지식은 본질적으로 널리 알려지기 어렵다. 관심을 끌 실익도 적고 재미있는 콘텐츠도 되지 않지만, 다른 답변들이 여러 예를 제시하고 있다
      임의의 지식을 퍼뜨리는 데 본질적인 이익이 있다고 보지 않는다. 인쇄술과 핵무기 사이에는 상당한 차이가 있다
    • 기술은 정부뿐 아니라 개인에게도 힘을 줬고, 더 중요하게는 물질적 역학을 바꿔 정부의 유인이 시민의 이해와 더 잘 맞도록 했다. 민주주의는 물질적 변화에 앞선 것이 아니라 뒤따랐으며, 권력을 추구하는 정부에 최적이었기 때문에 등장했다
      자원 채굴 경제에서 권력의 원천은 자원이고 사람은 수단이므로, 반란만 피할 수 있다면 사람을 최대한 가혹하게 다룬다. 반면 안정된 기반시설에서는 교육받고 부유한 시민에게 세금을 걷고 그들의 혁신을 활용하는 편이 훨씬 이익이다. 시민의 번영을 지나치게 방해하면 정부 자신의 권력 추구에도 불리해져 유인이 정렬된다
      AI 문제의 해법은 기술을 멈추거나 깨지기 쉬운 법을 쌓는 데 있지 않다. 현대 국가와 경제, 대의민주주의, AGI 같은 거대 AGI형 개체를 인간의 번영과 정렬하는 것이 핵심이다
    • 초대형 열핵무기 개발을 포기한 결정은 사례가 될 수 있다. 미국의 Sundial 프로젝트는 TNT 약 100억 톤급 무기를 구상했다. 실용적인 무기는 아니지만 일정 크기를 넘으면 어디서 폭발시키든 모두 죽으므로 운반 문제가 사실상 사라진다: https://en.wikipedia.org/wiki/Sundial_(weapon)
      다만 Sundial 설계도가 어딘가에 보관돼 있는지는 궁금하다
    • 그런 합의는 불가능하다. 비교적 작은 기술 우위만으로도 한 국가가 세계를 지배할 수 있는데, 자발적 감속은 무모한 신뢰 낙하가 된다
      1600년대 인도는 백만 병력을 갖춘 화약 제국으로 영국보다 군사적으로 우세했지만 1700년대에는 정복됐다. 영국의 우위는 더 가볍고 기동성 좋은 대포, 표준화된 탄약, 더 나은 군사·정치 조직 정도였다. 선진국과 개발도상국의 격차가 아니라 역동적인 미국과 경직된 EU에 가까운 차이였지만, 그 작은 우위가 200년 식민 지배로 이어졌다
      우리가 ASI 개발을 자발적으로 늦추면 식민지 유럽과 피식민 아시아·아프리카의 차이조차 사소해 보일 만큼 큰 격차를 허용하게 된다

  • “AI 2027에서는 2027년에, 이번에는 2030년에 급격한 도약이 일어난다”고 한다. 불과 3년도 안 돼 지수 성장 종말 예측이 3년 뒤로 밀렸으니 지수 성장과는 정반대로 보인다

    • 유한한 체계에서 어떤 지수 성장도 오래 지속되지 않으므로, 급격한 도약은 물리학과 현실의 작동 방식을 모두 무시해야만 가능했다. 이를 믿으려면 상당한 자기기만이 필요하고, 그러면 불편한 사실은 무엇이든 무시할 수 있다
      한때 극찬받았던 『Superintelligence』의 시나리오도 지금 읽으면 합리적인 예측에 필요한 지식의 빈자리를 공상으로 채운 레이펑크 복고 미래주의처럼 보인다

  • AI 2027은 지나치게 낙관적이었지만 완전히 환상적이지는 않았다. 반면 이번 글은 극도로 추측적이며, 표면적인 검토조차 통과하기 어려운 전제에 의존한다
    낙관적으로 보더라도 2035년에 “모든 인지·물리 과업의 95%를 수행할 수 있는” 로봇은 등장하지 않을 것이다. 실업률 74% 도 거의 불가능하며, 그 수치에 도달하기 훨씬 전에 경제 붕괴가 AI 개발부터 무너뜨릴 것이다

    • 특히 의심스러운 부분은 물리 과업이다. 드론은 위협적이지만 민간 환경에서 로봇이 현관까지 소포를 배달하는 문제조차 제대로 해결하지 못했고, 단기간에 해결될 가능성도 낮아 보인다
    • 250년간의 자동화로 모든 사람의 직업이 여러 번 쓸모없어졌지만 대규모 실업이 발생한 적은 없다
    • 2020년으로 돌아가 5년 남짓 뒤에는 인간 개발자가 거의 코드를 쓰지 않을 것이라고 했다면 믿지 않았을 가능성이 크다
      자동차의 말 대체, 최초 비행에서 달 착륙까지의 발전, 초기 인터넷에서 대중화까지도 비슷하다. 새로운 기술이 빠르게 발전해 사회를 완전히 바꾸는 데 보통 10~20년이면 충분했다
      2035년 예측에 동의하지는 않지만 AI가 파괴적 로봇 기술의 개발 속도를 높인다면 불가능하지도 않다. 2010년에는 자율주행차와 자율 배송 드론이 먼 공상과학처럼 보였지만 15년 뒤인 지금은 점차 배치되고 있다
      95%를 50~60% 로 낮추면 동의하는 쪽에 가까울 것이다. 직관 때문이 아니라 지수 추세가 존재할 경우 본능으로 예상하지 못한 결과를 만들기 때문이다. 그래도 95%는 지나치게 높다

  • 적어도 LLM은 지수 곡선의 시작이 아니라 이미 S자 곡선의 상단에 도달한 듯하다. 더 좋은 훈련 데이터는 작은 개선을 만들고, 더 나은 구조는 연산량을 줄이며, 초대형 데이터센터는 저렴하고 보편적인 사용을 가능하게 할 것이다. 하지만 어느 것도 지능을 지수적으로 높이지는 않는다

    • GPT-1 때부터 LLM에서 지능을 조금밖에 더 끌어낼 수 없다는 말이 반복됐지만, 지금까지는 항상 틀렸다
    • 그렇게 믿게 된 근거가 무엇인가
    • 전적으로 동의하지만, “Attention Is All You Need”에 버금가는 산업 파괴적 구조 개선이 언제든 등장할 가능성도 매우 높다
      현재 LLM의 인지적 격차는 구조적인 듯하지만, 새롭거나 확장된 Transformer형 구조로 이를 해결하면 완전히 다른 국면이 열린다. 필요한 것은 새로운 사후 훈련 학습 구조이며, 문맥 창 확장은 해답이 아니다. 진정한 지속 학습과 수정 과정이 필요하다

  • 이 글은 AI 2027을 만든 이들이 작성했다

    • 2026년 초까지는 이번 예측이 훨씬 정확해 보인다
      다만 지정학과 중국에 이상하게 집착하면서도 중국을 심하게 과소평가했다. 중국은 고등교육과 충분한 전력 공급을 중시하고, 똑똑한 사람들이 금지와 수출 통제로 무작위로 제약받거나 금융 보호주의로 과보호되지 않은 채 일할 수 있게 한다. 그것만으로도 머지않아 미국 기업보다 혁신과 연산 역량에서 앞설 가능성이 크다

  • 글은 Sam Altman의 “AI는 아마 세상의 종말로 이어지겠지만, 그동안 훌륭한 기업들이 생길 것이다”라는 인용문을 사용한다
    이것이 즉흥적인 농담이 아니었다는 신뢰할 만한 언론 자료가 있는가. 글은 맥락을 제거한 YouTube 영상에 연결하면서 섬뜩한 발언처럼 취급한다
    가장 악의적으로 해석하면 자신이 살아 있는 동안 불편을 겪지 않는다면 사후의 종말을 초래해도 된다고 믿는 악인을 상상할 수는 있지만, 인용문의 상황과는 맞지 않는다. 사회생활이 가능한 인간이 진지하게 할 말이라고 보기 어려울 만큼 터무니없다
    사람들이 의도적으로 곡해하는 것인지 실제 신념이라고 믿는 것인지 궁금하다. 실제 신념이라고 본다면 누군가 어떻게 그런 생각을 가질 수 있는지도 설명해 줬으면 한다

    • 영상의 7분 35초 질문은 “사람들이 어느 분야에 더 많은 시간을 투자했으면 하는가”이고, Sam은 AI 안전을 답한 듯하다. OpenAI 설립을 언급한 2015년 영상이며, 이후 행보를 보면 그에게 농담은 아니었던 것 같다
    • “우리가 아는 형태의 세계가 끝난다”는 뜻일 가능성이 크다. 그 자체는 아마 맞겠지만 시점은 20년 뒤일 수도, 2천 년 뒤일 수도 있다
답변달기