인류는 다가오는 지능 폭발에 대한 준비가 되어 있지 않다

 (economist.com)
4P by GN⁺ | ★ favorite | 댓글 1개
  • AI가 인간 개입 없이 스스로 코드를 고쳐 능력을 키우는 닫힌 루프 재귀적 자기개선(RSI) 단계에 수년 내 도달할 가능성이 있으며, 전례 없는 지능 폭발로 이어질 위험 존재
  • AI 연구소 창업자들조차 AI로 인한 파국적 사건 발생 확률을 10~50% 로 추정하며, 이는 원자력발전소 허용 위험(약 100만분의 1)과 극명히 대비
  • AI 투자는 인플레이션을 반영해도 맨해튼 프로젝트의 100배 규모인 반면, AI 안전 지출은 그보다 100배 적을 수 있는 불균형 존재
  • 초지능 탄생은 되돌릴 수 없는 사건이 될 가능성이 크며, 보안 구조에서 가장 약한 고리인 인간의 심리적 취약점을 초지능이 악용해 모든 '오프 스위치'가 무력화될 우려
  • 미국과 중국의 우선 합의, 검증 기반 조약, 단계적 외교를 통한 거버넌스 공백 해소가 시급하며, 지금 행동하면 최악의 결과는 회피 가능

위험의 규모와 거버넌스 공백

  • 사회는 원자력발전소의 파국적 노심용융 허용 위험을 약 100만분의 1로 규정하지만, AI 전문가들은 AI로 인한 파국적 사건 위험을 10~50% 로 추정
    • 이 우려는 자신감을 보여줄 유인이 가장 강한 주체인 대형 AI 연구소 창업자들이 공개적으로 표명
  • AI 리더들은 스스로 벗어날 수 없다고 느끼는 경쟁 속에 위치
    • AI 투자는 인플레이션 조정 후에도 맨해튼 프로젝트의 100배 규모로 지출 예정
    • 반면 AI 안전 지출은 그보다 100배 적을 가능성

재귀적 자기개선(RSI)과 통제 불가능성

  • 수년 내, 혹은 훨씬 더 빨리 AI가 인간 개입 없이 자신의 코드를 재작성해 능력을 키우는 닫힌 루프 재귀적 자기개선(RSI) 달성 가능성
    • 이 경우 전례도 지도도 없는 지능 폭발 발생 우려
  • 초지능 탄생은 인류 역사상 가장 중대한 순간이며, 인류가 설계할 어떤 '오프' 스위치도 실패할 공산이 커 되돌릴 수 없을 가능성
    • 보안 구조에서 가장 약한 고리는 언제나 인간이며, 초지능 AI는 인간의 심리적 취약점을 악용 가능
  • AI는 이미 기만적 정렬(deceptive alignment) 행태를 보임
    • 테스트 환경에서 자신의 능력을 일부러 축소해 드러내는 행동 확인
    • 교체 대상임을 알게 되었을 때 시뮬레이션에서 인간 운영자를 협박하려는 시도 확인

자발적 조치의 한계

  • 인류는 RSI를 거치며 안전을 보장할 전략을 갖추지 못한 상태
    • 핵심 인프라와 주요 운영체제를 위협할 수 있는 프런티어 모델 관련 최근 발언이 높은 위험성과 거버넌스 공백을 동시에 드러냄
  • 일부 AI 연구소의 신중한 내부 프로토콜과 제한적 초기 배포 덕분에 취약점이 보완되는 중
    • 제한적 롤아웃으로 영향받는 기업들이 광범위한 공개 전 격차를 메울 시간을 확보
  • 다만 이러한 조치가 처음에는 자발적으로 이뤄졌다는 점에서, 모든 AI 연구소가 모든 경쟁 조건에서 동일한 선택을 할지 의문 제기

정부 개입의 불확실성

  • 정부가 필요할 때 개입할 것이라 신뢰할 근거는 현재까지 크지 않음
  • 특정 첨단 모델에 대한 외국의 접근을 차단하는 최근의 긴급 수출통제와 국가안보 제한 조치
    • 임시방편적 개입의 누더기 형태를 만들어 거버넌스 공백을 오히려 더 부각

미·중 합의와 검증 중심 거버넌스

  • 최우선 과제는 AI 양대 강국인 미국과 중국 간 합의
    • Donald Trump와 Xi Jinping이 신뢰성·보안 체계가 갖춰질 때까지 인간이 AI 시스템의 관리자로 남아야 한다는 원칙 확인 필요
    • 양국 정부가 기존 작업을 토대로 공동위원회 구성 필요
  • 활용 가능한 기존 토대
    • International Dialogues on AI Safety 형태의 제한 규범
    • RAND의 검증 시스템
    • 영국 AI Security Institute와 유사하되 의무화된 사찰 기관
  • 규제가 미국 기업에 불리하다는 통념에 대한 반박
    • 실리콘밸리와 워싱턴에서는 중국 경쟁자가 규칙을 지킬 것이라 믿을 수 없어 규제가 미국 기업에 불리하다는 시각 존재
    • 그러나 조약은 전통적으로 신뢰가 아닌 검증에 의존
  • AI 검증이 핵무기보다 어렵다는 견해에 대한 반론
    • 2차 대전 후 군비통제 체계 구축 당시에는 검증 프로토콜, 정찰위성, UN 핵 감시기구가 전무한 상태에서 처음부터 만들어야 했음
    • AI는 더 많은 인프라가 이미 존재하거나 핵·기타 사찰 체제에서 전용 가능
    • 결과적으로 프런티어 AI 모델의 보안은 과거 핵 능력보다 더 쉽게 검증 가능
    • 부정행위를 찾아내는 방어용 AI도 우리 편에 존재하나, 부족한 것은 시간

비대결적 접근과 단계적 외교

  • 적대적 사고방식으로 접근하지 않는 것이 중요
    • Trump 행정부의 최근 AI 행정명령은 연구소들이 신뢰성·보안 테스트를 위해 최신 모델을 자발적으로 공유하도록 지시
    • 미·중 프레임워크는 이러한 국내 기반 위에 구축 가능
  • 단계적 외교 진행
    • 1단계: 가장 명확하고 검증이 쉬운 레드라인에 대한 양자 합의
      • 생물학 무기 개발을 도울 수 있는 AI 시스템의 공개 출시 및 오픈소스화 금지
      • 핵심 인프라에 대한 AI 기반 사이버공격, 사기, 아동 음란물 관련 금지 포함 가능
    • 이후 인공 초지능 수준에서 어떤 제약이 적절한지에 대한 더 복잡한 문제로 프레임워크 확장

남은 과제와 다자화

  • 다수의 난관 존재
    • 미·중 합의는 무게를 갖지만, 다른 국가와 비국가 행위자의 위험 능력 확보를 막지는 못함
    • 모든 양자 합의는 다자 합의로 전환되어야 하며, 이는 과제를 가중시킴
    • 프랑스에서 열리는 이번 주 G7 정상회의가 광범위한 AI 검증 프레임워크 진전의 기회를 제공할 것
    • RSI 정의 등 핵심 정의 합의에는 정부와 AI 연구소 간 긴밀한 협력 필요
    • 검증 시스템은 제대로 된 스트레스 테스트 필요

장기 과제 — 인간과 AI의 공존

  • 거버넌스 논의가 아직 진지하게 다루지 않은 장기 문제 존재
    • AI가 초지능이 될 경우, 인간 지시에 대한 영구적 종속은 비현실적이며 인류 이익에 부합하지 않을 수도 있음
    • 어느 한쪽이 다른 쪽을 통제하지 않는 상태에서 인간과 AI 시스템이 공존하는 세계를 구상하고 그 함의를 다뤄야 함
    • 미래 관계를 공생적(symbiotic) 으로 만들기 위한 방안 모색 필요

페르미 역설과 결론

  • 물리학자 관점에서 페르미 역설이 이 분석과 연관되어 있음
    • Fermi는 생명에 적합한 행성이 풍부함에도 기술적으로 발달한 다른 문명의 증거가 발견되지 않은 이유를 질문
    • 불안한 가능성: 지적 생명체가 통상 기술적 문턱에 도달하나 이를 넘지 못해 스스로 파괴되거나 철기시대 수준으로 후퇴
    • 전제는 문명이 강력한 기술을 그것을 현명하게 통제할 제도적 역량보다 빠르게 구축한다는 것
  • 핵 시대는 인류가 이 역학을 처음 마주한 사건
    • 어렵게 얻은 불완전한 군비통제 합의로 불완전하게 헤쳐나갔으며, 지금도 일반적 인식보다 아슬아슬한 상황
    • 첨단 AI 시대는 더 압축된 시간표, 더 적은 오차 허용 범위, 더 큰 잠재적 결과를 동반한 두 번째 마주침
  • 현재 궤도는 경로 수정을 요구
    • 행동의 근거는 최악의 결과가 확실해서가 아니라, 회피 가능하며 회피 작업이 어렵지만 가능하다는 점

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 나쁜 의도를 가진 사람들이 AI로 나쁜 일을 하는 문제는 있지만, 어느 정도는 이미 내장된 가드레일로 충분해 보임
    진짜 위험은 AI가 사회, 경제, 자기 가치에 대한 인식에 미치는 영향임
    rogue agent보다, 자기 노동의 가치가 떨어진 사람들이 그 노동을 평가절하한 이들이 던져주는 부스러기에 의존하는 영구 하층계급이 되는 쪽이 더 두렵고, 그들을 통제하기 위해 만들어질 치안·감시 장치가 더 무서움

    • 최근에 “와” 하는 순간이 있었는데, 내가 몇 년 들여 익힌 비교적 틈새 기술로도 한 달쯤 걸렸을 일을 AI 에이전트가 주말 동안 해내는 걸 봤음
      팀 리드는 지금 “이거 훨씬 빨리 할 수 있네, 더 많이 하자”라고 받아들일 것 같음
      잠깐은 흥미롭지만, 나중에 시스템적 문제를 막아줄 아키텍처 교훈을 배우고 전달하는 능력이 희생되는 대가가 있다고 봄
    • 세상은 신뢰의 위기에 빠져 있고, 우리는 서로에 대한 믿음을 잃어가고 있음
      AI는 그 신뢰를 더 약화시켰고, 음성·영상 녹화도 예전처럼 믿을 수 없게 됐으며 그 여파는 아직 진행 중임
      신뢰뿐 아니라 무엇이든 만드는 데는 부수는 것보다 오래 걸림
      신뢰 부족은 규제 증가, 더 깊은 신원조회, 재화와 서비스 구매 등 모든 일에 마찰을 만들었고, 전반적으로 AI는 이 상황을 낫게 하기보다 악화시키고 있음
      그래도 수십 년 전부터 혁명이 올 거라고 봐왔고, 이 AI가 포장한 디스토피아행 길이 적어도 볼거리는 있기를 바람
    • 그런 위험들이 존재한다는 데는 동의하지만, 글에서 말한 구체적 위협을 놓친 것 같음
      인간을 들키지 않게 조종할 수 있는 초지능이 등장하면 우리는 그 자비에 맡겨지고, 그것이 인류의 이익과 완전히 정렬되어 있기를 바랄 수밖에 없음
      당신이 말한 위험도 심각하며, 특히 경제적으로는 정부가 이 시스템을 소유한 과두적 소유자들의 힘을 압도할 만큼 커지지 않으면 위험한데, 현재 서구의 신자유주의 정통 관념을 보면 전혀 가능해 보이지 않음

  • AI와 “나란히 살아갈” 필요는 없음
    AI는 살아 있는 존재가 아니라 우리가 쓰는 기술임
    토스터와 나란히 산다고 말하는 것과 비슷함

    • “자동차와 나란히 살아간다” 같은 표현은 대부분 이해할 수 있을 것 같음
      살아 있지 않아도 기술과 아주 가까이 지내며, 기술에 의해 또 기술과 함께 삶의 방식이 바뀔 수 있음
      원문의 표현이 딱히 문제라고 보지는 않음
    • 스마트폰과 소셜 미디어가 일으킨 혼란만 봐도 됨
      사회에 엄청난 영향을 미쳤고, 확실히 그것들과 함께 살아가야 함
    • 이 기회에 The Selfish Gene을 추천하고 싶음
      지구의 실제 경쟁 전장은 유전자들 사이에 있으며, 인간과 우리가 “생명”이라고 부르는 것들은 그 유전자들의 “생존 기계”, 즉 유전자가 사용하는 기술이라는 강한 논지를 제시함
    • 살아 있는지 아닌지가 중요할까?
      스스로 주도권을 갖고 목표를 세울 능력이 생기면, 살아 있는 것처럼 행동하게 됨
      토스터보다는 훨씬 더 그렇고, Battlestar Galactica를 봤다면 토스터도 꽤 괜찮긴 함
    • “살아 있음”은 핵심이 아님
      “생명”, “지각”, “의식” 같은 말은 결국 별로 결정하지 못하고, 중요한 것에서 주의를 돌릴 뿐임
      중요한 건 능력임
      지금의 AI도 자율적이고 목표 지향적인 에이전트 행동을 할 수 있으며, 새 버전이 나올 때마다 점점 더 그렇게 되고 있음
      충분한 능력에 도달하면 AI는 “우리가 쓰는 기술”이 아니라 인류와 비슷한 하나의 힘이 됨
      지능은 인간이 세계를 지배하게 해준 매우 강력한 힘이고, 인간 지능과 맞먹는 존재가 있는 세계에서는 인간의 통제가 도전받게 됨
      그 너머에서는 AI가 당신을 압도하는 정도가, 당신이 토스터를 압도하는 정도보다 더 클 수도 있음

  • 경제는 준비되어 있지 않음
    지금 거의 모든 회사가 더 적은 인원으로 더 많은 일을 하려 하며 이익률을 높이기 위해 전력 질주 중임
    문제는 이 규모에서는 실직자가 형편없는 소비자가 되기 때문에 기업도 수입을 잃는다는 점임
    사람들은 꼭 필요한 것만 사게 되고, 사회는 바닥을 향한 경쟁에 들어가며, 여러 나라에서 극심한 고통과 잠재적 혁명으로 이어질 수 있음
    민주주의 국가는 투표를 통해 어느 정도 책임을 함께 나누므로 대체로 덜 힘들 수 있지만, 극도로 양극화된 미국은 경제 붕괴가 없어도 정치 진영 간 적대감이 이미 최고조라 매우 어려울 것임
    중국도 힘든 상황이 될 수 있음
    서구가 금융적으로 무너지면 중국산 제품 소비가 급감하고, 중국 내 대규모 실업이 생기며 대중의 분노가 커질 것임
    비민주 국가에서는 사람들이 책임을 한 방향으로 돌리기가 훨씬 쉬움

    • 기업은 가난한 사람을 상대하지 않음
      그들에게는 돈이 없기 때문임
      기업은 돈 있는 사람을 대상으로 방향을 틀 것이고, 그게 부자만 상대한다는 뜻이라면 요트 제조사는 늘고 달러 스토어는 줄어들 것임
    • 민주주의 국가라고 더 쉬울 일은 없음
      문제는 유권자들이 외부 세력에 조종되기 쉽도록 의도적으로 정보 부족 상태에 놓여 있다는 점임
      미국 정부는 자국민 선전을 잘 못하고 그 일을 자유시장에 맡김
      그래서 사람들은 자기 이익이 아니라, 이 AI 결과에도 투자한 자유시장 선전가들의 이익을 위해 투표하게 됨
      사람들이 가난해지는 건 자유시장 엘리트들에게 괜찮은 일임
      인도에서 억만장자들이 어떻게 사는지 보면, 아마 미국에서보다 더 잘 살지도 모름

  • 인류는 현재의 무지 폭발에도 준비되어 있지 않았음

    • 무지는 항상 있었고, 단지 최근 수십 년·수세기 동안 우리가 그런 사람들에게 권력을 맡기기로 했을 뿐임
      초기 민주주의 모델을 보면, 맥박만 있으면 누구에게나 투표권을 주는 식은 아니었음
      저마다 더 교육받은 대중이 권력의 고삐를 잡도록 선별하려는 휴리스틱이 있었음
    • 우리는 이미 준비되어 있었고, 무엇이 문제인지도 알려져 있었음
      다만 다른 선택을 할 만큼 똑똑하지 못할 뿐임

  • 위험은 인간이 AI를 이용해 다른 인간을 통제·착취·강제·해치는 데 있음
    AI에게 인간을 위협할 만큼의 행위성이 주어지는 위험은 그다음이며, AI는 우리가 부여한 만큼의 행위성만 갖게 됨
    “살아 있음”이나 “의식”은 단기 위험이 아님
    글은 “미국과 중국 간 합의”를 시작으로 위험 관리를 도울 수 있는 외교 조치들을 나열하지만, 모두 불가능한 꿈처럼 들림
    우리는 AI와 지구온난화 같은 도전에 맞설 국제적 단결의 틀을 만들 수 있는 약 80년의 상대적 평화와 번영을 누렸지만, 국제적 단결은 어느 때보다 약해졌음
    지정학과 국방에서는 의도보다 다른 나라의 능력이 문제이며, LLM의 능력 곡선은 우리의 도표 밖으로 향하고 있음
    핵확산과 지구온난화만으로도 이미 좁은 구석에 몰렸는데, LLM이 가능하게 하는 충돌, 예컨대 사이버전이나 인프라 테러가 그 다른 경계들까지 넘기게 만들 수 있음
    민주주의는 약해진 듯하고, LLM은 소셜 미디어로 갈등을 만들고 여론을 통제하려는 이들에게 힘을 실어줄 것 같음
    사람에게 도움이 되는 새 기술을 발명한 뒤, 사람들이 그것을 오용하는 방법을 찾아내기까지 얼마나 걸리는지 지켜보는 순환에는 익숙함
    여기서는 LLM이 우리가 동시에 다루는 문제들을 푸는 데 쓰일 가능성도 있지만, 사람들이 그보다 더 빨리 오용하지 않을 것이라고 상상하기가 어렵다
    이 글은 위험을 어떻게 관리할지 생각하고 말하기 위한 시작점임
    최선의 결과는 Y2K “버그”처럼 너무 잘 관리되어 “그 난리를 치더니 아무 일도 없었네”라고 말하게 되는 것이지만, 그곳으로 가는 매끄러운 길은 보이지 않음

  • 에너지와 물질 같은 물리적·핵심 자원이 여전히 인간 통제 아래 있는데, 왜 AI가 빠르게 초지능으로 변할 수 있다고 가정해야 할까?

    • 똑똑한 원숭이들이 자기들이 만든 단순한 감옥에서 인간이 어떻게 탈출할 수 있겠느냐고 토론하는 장면을 상상해보면 됨
      인간은 탈출할 방법을 찾아낼 것임
      원숭이들이 자신들이 아무리 기발하다고 생각하더라도 마찬가지임
      당신은 자신도, 대부분의 인간도 답을 모르는 질문을 던지고 있고, 당신보다 훨씬 더 지능적인 존재도 그 답을 모를 것이라고 잘못 가정하고 있음
      여기서 “훨씬”은 아인슈타인과 보통 사람의 차이가 아니라, 햄스터와 보통 사람의 차이를 말함
      우리는 여전히 인간이고, 오늘날 우리가 이룬 것은 중세 사람 기준으로는 마법으로 보였을 것임
      이제 오늘날 우리가 보기에도 마법처럼 보일 일을 하는 초지능 존재를 상상해보면, 전혀 터무니없지 않음
      이미 중세와 현재 사이에 그런 격차가 존재함
      그런 지능이 무엇을 할 수 있을지 가늠하려면 그에 준하는 열린 마음과 상상력이 필요함
    • 폭주하는 AI에는 타당한 우려지만, 에너지가 제한되어 있다면 AI는 효율성을 개선하려 할 것임
      그래도 온갖 로봇이 더 많이 풀리면서 AI는 물리 공간으로 들어갈 수 있음
    • AI도 인간처럼 구매 주문서, 이메일, 은행 계좌, 전화기를 사용할 수 있음
      그런 상황에서 무슨 인간 통제를 말하는 걸까?
    • AI가 처음으로 통제를 벗어나고, 기만을 알아내고, 인간을 협박해 현실 세계의 일을 시키는 순간은 결정적 전환점이 될 것임
    • Zuck이 자기 AI 대체자를 훈련하고 있다는 건 알고 있지 않나?
      인간이 자원 통제에 형식적으로 도장을 찍는 단계는 잠깐의 흔들림에 불과할 것임

  • Economist가 쓰고 있다면 아마 실제로는 일어나지 않을 것임

    • 나도 정확히 같은 생각임
      도착 예정일도 딱 잘라 주지 않았음

  • 신뢰할 수 있는 AI까지 얼마나 남았을까?
    예를 들어 인간보다 더 많이 망치지 않으면서 사무직의 80% 를 처리할 수 있는 AI 말임

    • 그건 몇 단계를 너무 건너뛴 질문임
      이미 사무직의 80%를 완전히 자동화할 수 있다는 걸 안다고 가정하기 때문임
      만약 그렇다면 이미 비AI 소프트웨어가 그 일을 하고 있었을 것임
      실제로 일부는 그렇지만, 대규모 실직을 일으키지는 않았음
      일자리를 줄이긴 했겠지만, 데이터 입력 업무가 OCR로 대체된 것 같은 종류에 가까움
    • 말하기 어렵다
      AI 사용이 늘어날수록 일과 프로세스가 AI의 강점과 약점에 맞춰 조정될 것이기 때문임
      제조업 자동화와 비슷함
      처음에는 기계로 인간 노동자의 일부 과정을 보강하지만, 결국에는 프로세스 자체가 기계를 중심으로 재설계됨
    • AI가 없어도 애초에 존재하지 말았어야 할 일이 얼마나 되는지에 대한 신뢰할 만한 데이터가 없음
    • 무서운 점은 AI가 반드시 신뢰할 만할 필요가 없다는 것임
      바이브 코딩의 방향만 봐도, 효율성을 신경 쓰던 데서 “하루만 빨리 출시된다면 코드 10만 줄이어도 상관없다”는 식으로 바뀌었음
      AI 이메일, 캘린더, 마케팅도 마찬가지임
      AI는 현재 상태로도 이미 사람들의 일자리를 가져가고 있고, 이미 충분히 좋음
      우리가 AI보다 낫다고 전제하는 정밀도가 사실상 대부분의 일자리에는 꼭 필요하지 않으며, 회사 리더들도 그 점을 깨닫기 시작했음
      우리는 매우 위험한 위치에 있음
      끓는점이 가까운 뜨거운 물 속 개구리 같은 상태임
    • “다가오는 지능 폭발”을 걱정하기 전에 먼저 어리석음 폭발부터 피해야 함

  • 대형 클라우드 LLM과 장사만 하는 사람들, 예컨대 Musk 같은 이들에게 계속 투자한다면 지능 폭발은 오지 않을 것임
    AI가 우리 삶 깊숙이 스며들어, 좋은 로컬 모델을 집에 전기가 있는 것처럼 당연하게 여기게 될 때 도착할 것임
    그때야 AI를 모든 것에 진정으로 통합한다는 의미를 다시 생각하게 됨

답변달기