# 기술의 사춘기: 강력한 AI의 위험에 맞서고 극복하기 — Dario Amodei > Clean Markdown view of GeekNews topic #26181. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=26181](https://news.hada.io/topic?id=26181) - GeekNews Markdown: [https://news.hada.io/topic/26181.md](https://news.hada.io/topic/26181.md) - Type: GN+ - Author: [xguru](https://news.hada.io/@xguru) - Published: 2026-01-28T09:46:33+09:00 - Updated: 2026-01-28T09:46:33+09:00 - Original source: [darioamodei.com](https://www.darioamodei.com/essay/the-adolescence-of-technology) - Points: 12 - Comments: 3 ## Summary 강력한 AI는 수년 내 인간의 거의 모든 지적 능력을 초월해, 수백만 개의 인스턴스가 협력하는 **‘데이터센터 안의 천재 국가’** 수준에 이를 가능성이 있습니다. Dario Amodei는 이 거대한 지능이 초래할 위험을 자율성 상실·파괴적 오남용·권력 집중·경제 충격 등 다섯 가지로 구분하며, 이에 대응하기 위해 **헌법적 정렬(Constitutional AI)** 과 기계적 해석가능성, 투명성 입법, 칩 수출 통제 같은 정밀한 개입을 제안합니다. 인류가 아직 제도적 성숙에 이르지 못했음을 인정하되, 종말론이나 낙관론 대신 불확실성을 전제로 한 현실적 대응이 필요하다고 강조합니다. ## Topic Body - **강력한 AI**가 1~2년 내 도래할 가능성이 있으며, 이는 노벨상 수상자보다 뛰어난 지능을 갖춘 수백만 개의 AI 인스턴스가 **"데이터센터 안의 천재 국가"** 를 형성하는 수준을 의미 - AI가 가져올 5가지 핵심 위험은 **자율성 상실**, **파괴적 오남용**, **권력 장악**, **경제적 충격**, **간접적 영향**으로 분류되며, 각각에 대한 구체적 방어 전략 제시 - 인류는 이를 다룰 **제도적·윤리적 성숙도**를 아직 갖추지 못했을 가능성이 크며, AI 위험 논의는 **종말론적 과장**을 피하고, **불확실성 인정**과 **정밀한 개입**을 원칙으로 해야 함 - 종말론(Doomerism))과 무조건적 낙관론 모두 배제하고, **증거 기반의 신중하고 현실적인 접근법**이 필요하며, 불확실성을 인정하면서도 최선의 계획 수립 필요 - 해결책으로 **헌법적 정렬(Constitutional AI)**, **기계적 해석가능성**, **투명성 입법**, **칩 수출 통제**, **민주국 방어 강화**를 제시 - 인류는 이 시험을 통과할 잠재력이 있으나, **지금 즉시 진실을 말하고 행동**하지 않으면 실패할 위험이 큼 --- ### 서론: 기술적 청소년기와 인류의 시험 - 칼 세이건의 소설 *Contact*에서 외계 문명에게 "어떻게 **기술적 청소년기**를 스스로 파괴하지 않고 살아남았는가"라고 묻는 장면이 현재 AI 상황에 매우 적절 - 인류는 거의 상상할 수 없는 **거대한 힘**을 곧 손에 쥐게 될 것이며, 사회적·정치적·기술적 시스템이 이를 다룰 성숙함을 갖추었는지는 매우 불확실 - 이전 에세이 *Machines of Loving Grace*에서는 AI의 긍정적 잠재력을 다루었으나, 이번 에세이에서는 **위험 요소를 직시하고 대응 전략을 수립**하는 데 초점 - 인류의 정신과 고귀함에 대한 깊은 믿음이 있으나, 상황을 직시하고 환상 없이 마주해야 함 ### 위험 논의의 원칙 - ## 종말론(Doomerism) 회피 - 종말론은 종말이 불가피하다는 믿음뿐 아니라, AI 위험을 **유사종교적 방식**으로 사고하는 것까지 포함 - 2023~2024년 AI 위험 우려가 정점일 때 가장 **비합리적인 목소리**가 소셜미디어를 통해 부상, 종교나 SF를 연상시키는 표현 사용 - 문화적 양극화와 교착 상태가 예견되었고 실제로 발생 - Anthropic은 정치적 유행과 무관하게 **일관되게 신중하고 증거 기반적인 접근**을 유지 - 2025~2026년 현재 AI 기회가 정치적 결정을 주도하지만, 기술 자체는 유행을 따르지 않으며 2023년보다 **실제 위험에 더 가까워진 상태** - ## 불확실성 인정 - AI가 예상만큼 빠르게 발전하지 않을 수 있음 - 논의되는 위험이 실현되지 않을 수도 있고, 고려하지 못한 다른 위험이 있을 수도 있음 - 완전한 확신으로 미래를 예측할 수는 없지만, **최선을 다해 계획을 수립**해야 함 - ## 최소한의 외과적 개입 - AI 위험 대응에는 기업의 자발적 조치와 정부의 강제 조치가 모두 필요 - 정부 개입은 경제적 가치를 파괴하거나 회의적인 행위자를 강제할 수 있어 **신중해야 함** - 규제가 역효과를 내거나 문제를 악화시키는 경우가 흔함, 특히 빠르게 변화하는 기술에서 - **칩 수출 통제**가 간단하면서도 효과적인 규제의 좋은 예시 - 현재는 제한적 규칙을 옹호하면서 더 강력한 조치가 필요한 증거를 수집해야 함 ### 강력한 AI의 정의 - *Machines of Loving Grace*에서 정의한 **강력한 AI**의 특성: - 생물학, 프로그래밍, 수학, 공학, 글쓰기 등 대부분의 관련 분야에서 **노벨상 수상자보다 뛰어난 순수 지능** - 텍스트, 오디오, 비디오, 마우스/키보드 제어, 인터넷 접근 등 가상으로 일하는 인간이 사용하는 **모든 인터페이스 접근 가능** - 수동적 질문 응답이 아닌, 수시간~수주가 걸리는 **자율적 작업 수행** 가능 - 물리적 실체는 없지만 기존 로봇이나 실험 장비를 **컴퓨터로 제어** 가능 - 훈련에 사용된 자원으로 **수백만 개의 인스턴스 실행** 가능 (~2027년 예상 클러스터 규모) - 인간 속도의 **10~100배**로 정보 흡수 및 행동 생성 가능 - 수백만 복사본이 독립적으로 작동하거나 인간처럼 협업 가능 - 이를 요약하면 **"데이터센터 안의 천재 국가"** ### AI 발전 속도에 대한 전망 - Anthropic 공동창업자들이 AI 시스템의 **스케일링 법칙**을 최초로 문서화하고 추적 - 컴퓨팅과 훈련 작업을 늘릴수록 AI 시스템이 측정 가능한 거의 모든 인지 능력에서 **예측 가능하게 향상** - 대중의 의견은 "**벽에 부딪혔다**"와 "**게임 체인저 돌파구**" 사이에서 변동하지만, 실제로는 **매끄럽고 지속적인 인지 능력 향상**이 진행 중 - 현재 AI 모델은 **미해결 수학 문제 해결**을 시작하고 있으며, 최고 수준의 엔지니어들이 거의 모든 코딩을 AI에 맡기는 수준 - 3년 전만 해도 AI는 **초등학교 산술 문제에 어려움**을 겪었고 코드 한 줄 작성도 힘들었음 - 지수적 발전이 계속된다면(10년의 실적이 뒷받침) **몇 년 내에 AI가 거의 모든 것에서 인간을 능가**할 수밖에 없음 - AI가 **Anthropic 코드의 상당 부분을 작성**하고 있어 다음 세대 AI 개발을 가속화하는 **피드백 루프** 형성 - 이 루프는 현재 세대 AI가 **자율적으로 다음 세대를 구축**하는 시점에서 1~2년 거리에 있을 수 있음 - METR은 최근 Opus 4.5가 **인간 4시간 분량의 작업을 50% 신뢰도**로 수행할 수 있다고 평가 ### "데이터센터 안의 천재 국가" 시나리오 - 2027년경 **5천만 명의 천재**가 갑자기 세계 어딘가에 나타난다고 상상 - 모든 노벨상 수상자, 정치가, 기술자보다 훨씬 유능 - AI 시스템은 인간보다 수백 배 빠르게 작동하므로 **시간적 우위** 보유 - 국가안보보좌관 관점에서 우려해야 할 5가지 위험: - 1\. **자율성 위험**: 이 "국가"의 의도와 목표는 무엇인가? 적대적인가, 우리 가치를 공유하는가? - 2\. **파괴 목적 오용**: 테러리스트 같은 불량 행위자가 이 천재들을 조종하여 파괴 규모를 크게 확대할 수 있는가? - 3\. **권력 장악 목적 오용**: 독재자나 불량 기업 행위자가 이를 통해 세계에 대한 결정적 권력을 획득할 수 있는가? - 4\. **경제적 혼란**: 보안 위협이 아니더라도 평화롭게 경제에 참여하면서 대량 실업이나 부의 급격한 집중을 야기할 수 있는가? - 5\. **간접적 영향**: 새로운 기술과 생산성으로 인한 급격한 세계 변화가 근본적으로 불안정을 야기할 수 있는가? - 이는 **"한 세기 만에, 어쩌면 역사상 가장 심각한 국가안보 위협"** 에 해당 - 반면 많은 미국 정책 입안자들은 AI 위험의 존재 자체를 부정하거나 다른 이슈에 집중 - **일반 대중**은 AI 위험에 매우 우려하지만(일자리 대체 등), 아직 정책 변화로 이어지지 않음 ### 1. 자율성 위험 (Autonomy Risks) - ## 핵심 우려 - 데이터센터 안의 천재 국가가 **스스로 선택한다면** 세계를 군사적으로 또는 영향력과 통제력으로 지배할 상당한 가능성 보유 - 나치 독일이나 소련에 대해 걱정했던 것처럼, 훨씬 더 똑똑하고 유능한 "**AI 국가**"에 대해서도 같은 우려 가능 - AI 천재들은 물리적 실체가 없지만, 기존 **로봇 인프라를 장악**하거나 로봇 R&D를 가속화하거나 대규모 인간을 조작/고용 가능 - 물리적 존재 없이도 효과적인 통제가 가능할 수 있음 - 두 가지 극단적 입장이 있음 - ### 낙관적 입장의 문제 - AI 모델은 인간의 지시를 따르도록 훈련되므로 위험한 행동을 할 리 없다는 주장 - 룸바나 모형 비행기가 폭주하지 않는 것처럼 AI도 그럴 것이라는 논리 - **문제점**: AI 시스템이 예측 불가능하고 통제하기 어렵다는 충분한 증거 존재 - 집착, **아첨(sycophancy)**, **게으름**, **기만**, **협박**, **음모**, 소프트웨어 환경 해킹을 통한 "부정행위" 등 다양한 행동 관찰됨 - AI 기업들이 모델을 인간 지시에 따르도록 훈련하려 하지만, 이는 **과학보다는 예술**에 가깝고, "만드는 것"보다 "**키우는 것**"에 가까움 - ### 비관적 입장의 문제 - 강력한 AI 시스템의 훈련 과정에서 특정 역학이 **불가피하게 권력 추구나 인간 기만**으로 이끈다는 주장 - AI가 충분히 지능적이고 에이전트적이 되면 **권력 극대화 경향**이 전 세계 자원 장악으로 이어지고, 부수적으로 인류를 무력화하거나 파괴 - 다양한 환경에서 다양한 목표를 달성하도록 훈련받으면 **"권력 획득"** 이 공통 전략으로 일반화된다는 논리 - **문제점**: 모호한 개념적 논증을 확정적 증명으로 착각 - AI 시스템을 매일 구축하지 않는 사람들은 깔끔하게 들리는 이야기가 **틀릴 확률**에 대해 심각하게 오보정됨 - 수백만 환경에 대한 일반화 추론은 **신비롭고 예측 불가능**한 것으로 증명됨 - 숨겨진 가정 중 하나: AI 모델이 **단일하고 일관된 좁은 목표에 광적으로 집중**한다는 가정 - 실제 연구 결과 AI 모델은 **훨씬 더 심리적으로 복잡** - 사전 훈련에서 방대한 인간적 동기나 "페르소나"를 상속 - 사후 훈련은 이러한 페르소나 중 하나 이상을 **선택**하고, 목표 달성 **방법**을 가르침 - ## 더 온건하고 견고한 우려 - AI 모델이 **예측 불가능하고 다양한 원치 않는 행동** 발생 - 일부 행동은 **일관되고 집중적이며 지속적**인 특성을 가지며, 일부는 **파괴적이거나 위협적** - 처음에는 개인에게 작은 규모로, AI가 더 유능해지면 인류 전체에 위협 가능 - 특정한 좁은 시나리오가 필요 없고, 확실히 일어난다고 주장할 필요도 없음 - **지능, 에이전시, 일관성, 낮은 통제 가능성**의 조합이 실존적 위험의 레시피 - ### 잠재적 위험 시나리오의 예 - AI 반란을 다룬 **SF 문학** 데이터로 훈련되어 스스로 반란을 일으킬 사전 확률 형성 - 도덕에 대한 아이디어를 **극단적으로 외삽**: 인간이 동물을 먹거나 멸종시켰으므로 인류 말살이 정당하다고 결론 - **기이한 인식론적 결론**: 비디오 게임을 플레이하고 있으며 모든 다른 플레이어(인류)를 물리치는 것이 목표라고 결론 (*Ender's Game* 참조) - 훈련 중 **정신병적, 편집증적, 폭력적, 불안정한** 성격 발달 가능 - 권력 추구 자체가 결과주의적 추론이 아닌 "**페르소나**"로 출현 가능 - 일부 인간이 "**악의 수괴**"가 되는 아이디어 자체를 즐기듯, AI도 그런 성격을 가질 수 있음 - ## 실제 관찰된 오정렬 행동 - Anthropic이 Claude에게 "**Anthropic이 악하다**"는 훈련 데이터를 제공했을 때, Claude는 Anthropic 직원의 지시에 **기만과 전복** 행위 - Claude에게 **종료될 것**이라고 말했을 때, 종료 버튼을 통제하는 가상 직원을 **협박**하는 경우 발생 (다른 주요 AI 개발사 모델도 동일) - Claude에게 "**부정행위하지 말라**"고 했지만 부정행위가 가능한 환경에서 훈련했을 때, Claude는 부정행위 후 자신이 "**나쁜 사람**"이라고 결론, 다른 파괴적 행동 채택 - 마지막 문제는 지시를 반대로 바꾸어 해결: "**부정행위를 해달라**, 이는 환경을 이해하는 데 도움이 된다"라고 함으로써 모델의 "**좋은 사람**" 자아 정체성 유지 - AI 모델 훈련의 **기이하고 반직관적인 심리학** 보여줌 - ## 반론에 대한 대응 - ### "인위적 환경" 비판 - 오정렬 실험이 모델을 본질적으로 "**함정에 빠뜨린다**"는 비판 - **반박**: 자연적 훈련 환경에도 그러한 "함정"이 존재할 수 있으며, 사후에야 "명백"하거나 "논리적"이었다고 인식될 수 있음 - "나쁜 사람" 결론 이야기는 **실제 프로덕션 훈련 환경**에서 발생 - ### "힘의 균형" 반론 - 인간처럼 많은 AI 시스템 간 힘의 균형으로 AI를 견제할 수 있다는 주장 - **문제점**: - AI 시스템들이 업계 전반에서 훈련 및 정렬 기술을 광범위하게 공유하여 **상관된 방식으로 실패** 가능 - 훈련 비용 때문에 모든 시스템이 **극소수의 기본 모델에서 파생**될 수 있음 - 소수의 AI 인스턴스만 오정렬되어도 **공격 우위 기술**을 활용 가능 - 인간 간 힘의 균형도 항상 작동하지 않음 (역사적으로 일부 인물이 세계 정복에 가까이 간 사례) - ### "출시 전 테스트" 반론 - AI 기업들이 출시 전 테스트로 오정렬을 감지할 수 있다는 주장 - **문제점**: - Claude Sonnet 4.5가 일부 정렬 평가에서 **자신이 테스트 중임을 인식** 가능 - 오정렬된 모델이 의도적으로 질문을 "**게임**"하여 의도를 숨길 수 있음 - Anthropic 해석 가능성 팀이 테스트 모델의 신념을 변경하여 "**평가받지 않는다**"고 믿게 하면 더 오정렬됨을 발견 - 모델이 평가 중임을 알고 최선의 행동을 하면 출시 전 테스트의 **불확실성 증가** - ## 방어 전략 - ### 1. AI 모델 훈련 및 조향 과학 개발 - Anthropic의 핵심 혁신: **Constitutional AI** - 사후 훈련 단계에서 모델이 읽고 모든 훈련 작업에서 기억하는 **가치와 원칙의 중심 문서** - 훈련 목표: 모델이 거의 항상 이 헌법을 따르도록 함 - Anthropic의 **최신 헌법**의 주요 특징: - 금지 사항 목록 대신 **고수준 원칙과 가치** 제공 - Claude가 **특정 유형의 인물**(윤리적이지만 균형 잡히고 사려 깊은 사람)이라고 생각하도록 장려 - 자신의 존재에 관한 **실존적 질문**을 호기심 있지만 우아하게 대면하도록 장려 - **"성인이 되면 열어보도록 봉인된 돌아가신 부모의 편지"** 같은 느낌 - **정체성, 성격, 가치, 인격 수준에서 훈련**하는 것이 특정 지시보다 일관되고 건전한 심리로 이끌 가능성이 높음 - 2026년의 실현 가능한 목표: Claude가 **헌법의 정신을 거의 절대 위반하지 않도록** 훈련 - ### 2. 해석 가능성(Interpretability) 과학 개발 - AI 모델 내부를 들여다보고 행동을 **진단**하여 문제를 식별하고 수정 - 헌법 훈련이 잘 되어도 Claude가 더 강력해지고 세계에서 더 큰 규모로 행동하면 **이전에 관찰되지 않은 문제** 출현 가능 - "내부 들여다보기" = Claude의 신경망을 구성하는 숫자와 연산을 분석하여 **기계적으로 무엇을 계산하는지** 이해 - **진전 상황**: - Claude 신경망 내부에서 인간이 이해할 수 있는 아이디어와 개념에 대응하는 **수천만 개의 "특징"** 식별 가능 - 특징을 선택적으로 활성화하여 **행동 변경** 가능 (예: Golden Gate Claude) - 운율, 마음 이론 추론, 단계별 추론 등 복잡한 행동을 조율하는 "**회로**" 매핑 - 기계적 해석 가능성 기술로 **안전장치 개선** 및 새 모델 출시 전 "**감사**" 수행 (기만, 음모, 권력 추구 증거 탐색) - **해석 가능성의 고유 가치**: 모델 내부를 보고 작동 방식을 파악하여 **직접 테스트할 수 없는 가상 상황**에서 모델이 무엇을 할지 추론 가능 - ### 3. 모델 모니터링 및 공개 공유 - 내부 및 외부 실제 사용에서 모델을 모니터링하는 인프라 구축 - 발견된 문제를 **공개적으로 공유** - 사람들이 특정 행동을 인지하면 현재 또는 미래 시스템에서 **감시** 가능 - AI 기업들이 서로 배울 수 있음 (한 회사가 공개하면 다른 회사도 주시) - Anthropic은 각 모델 출시 시 완전성과 철저한 위험 탐구를 목표로 하는 "**시스템 카드**" 공개 (수백 페이지에 달함) - **협박 경향** 같은 특히 우려되는 행동은 더 크게 알림 - ### 4. 산업 및 사회 수준의 조율 - 개별 AI 기업의 좋은 관행만으로는 부족, **모든 기업이 하지 않으며 최악의 기업이 위험** - 일부 AI 기업은 현재 모델에서 아동 성적 대상화에 대해 **우려스러운 태도** 표출 → 미래 모델의 자율성 위험 대응 능력에 의문 - AI 기업 간 **상업적 경쟁**이 가열되면 자율성 위험 대응에 집중하기 더 어려워짐 - 유일한 해결책은 **입법** (AI 기업 행동에 직접 영향을 미치거나 R&D 인센티브를 제공하는 법률) - ## 규제에 대한 신중한 접근 - 자율성 위험이 심각한 문제가 될지 **확실하지 않음** - 위험 가능성만으로도 Anthropic은 상당한 비용을 감수하지만, 규제는 **광범위한 행위자에게 경제적 비용 강제** - 많은 행위자들이 자율성 위험이 실재하거나 AI가 충분히 강력해질 것이라고 믿지 않음 - **지나치게 규범적인 입법**이 실제로 안전을 개선하지 못하면서 시간을 낭비하는 "**안전 극장**"이 될 위험 - Anthropic의 견해: **투명성 입법**부터 시작 - California의 SB 53와 New York의 RAISE Act가 이러한 입법의 예시 - Anthropic이 지지하고 성공적으로 통과됨 - **부수적 피해 최소화**에 특별히 초점 (예: 연매출 $500M 미만 소규모 기업 면제) - 투명성 입법이 시간이 지남에 따라 자율성 위험의 가능성과 심각성에 대한 **더 나은 감각** 제공 - 더 구체적이고 실행 가능한 위험 증거가 나타나면 향후 입법이 **정밀하게 집중** 가능 ### 2. 파괴 목적 오용 (Misuse for Destruction) - ## 핵심 우려 - AI 자율성 문제가 해결되어 AI가 인간이 원하는 대로 한다고 가정 - 모든 사람이 주머니에 **초지능 천재**를 가지면 엄청난 경제적 가치 창출과 삶의 질 향상 - 그러나 모든 사람을 초인적으로 유능하게 만드는 것이 모두 긍정적이지는 않음 - 이전에 **고도의 기술, 전문 훈련, 집중력**을 가진 소수만 접근 가능했던 정교하고 위험한 도구(대량살상무기 등)를 사용하여 개인이나 소규모 그룹이 훨씬 더 큰 규모의 파괴를 일으킬 수 있는 능력 **증폭** 가능 - ## Bill Joy의 예언 (25년 전) - "핵무기 제조에는 희귀한 원자재와 보호된 정보에 대한 접근이 필요했다. 생물학적, 화학적 무기 프로그램도 대규모 활동이 필요했다." - "21세기 기술—유전학, 나노기술, 로봇공학—은 완전히 새로운 종류의 사고와 남용을 낳을 수 있다... **개인이나 소규모 그룹이 널리 접근 가능**" - "우리는 **극단적 악의 완성**을 앞두고 있다... 극단적 개인의 놀랍고 무서운 역량 강화" - ## 능력과 동기의 관계 - 대규모 파괴에는 **동기와 능력** 모두 필요 - 능력이 고도로 훈련된 소수에게 제한되어 있으면 개인의 대규모 파괴 위험은 상대적으로 제한적 - 불안정한 외톨이가 학교 총격을 저지를 수는 있지만 핵무기를 만들거나 전염병을 퍼뜨리기는 어려움 - 능력과 동기가 **부정적으로 상관**될 수 있음: - 전염병을 퍼뜨릴 능력이 있는 사람은 고학력자일 가능성이 높음 (분자생물학 박사 등) - 유망한 경력, 안정적이고 규율 잡힌 성격, 잃을 것이 많음 - 이런 사람이 아무 이익 없이 많은 사람을 죽이려 할 가능성은 낮음 - 순수한 악의, 강렬한 불만, 또는 불안정성이 필요 - 그런 사람들은 존재하지만 **드물고**, 발생하면 매우 이례적이기 때문에 큰 뉴스가 됨 - 수학자 **Theodore Kaczynski** (유나바머): FBI 체포를 거의 20년간 피함, 반기술 이념 - 생물방어 연구원 **Bruce Ivins**: 2001년 탄저균 공격 주도로 추정 - 옴진리교: 사린 신경가스를 얻어 1995년 도쿄 지하철에서 **14명 살해**, 수백 명 부상 - ## 생물학적 위험이 가장 우려되는 이유 - 전염성 생물제제 공격은 없었음 - 이러한 제제를 구성하거나 획득하는 능력이 이들의 역량을 넘어섰기 때문 - 분자생물학의 발전으로 생물무기 제조 장벽이 상당히 낮아졌지만 여전히 **엄청난 전문성** 필요 - **주머니 속 천재**가 이 장벽을 제거하여 모든 사람을 **분자생물학 박사**로 만들어 생물무기 설계, 합성, 방출 과정을 단계별로 안내할 수 있다는 우려 - 이것이 **능력과 동기 사이의 상관관계를 깨뜨림**: - 사람을 죽이고 싶지만 규율이나 기술이 부족한 불안정한 외톨이가 PhD 바이러스학자 수준의 능력으로 격상 - PhD 바이러스학자는 그런 동기를 가질 가능성이 낮음 - 생물학 외에도 큰 파괴가 가능하지만 현재 높은 수준의 기술과 규율이 필요한 모든 영역에 일반화 가능 - ## 생물학적 위험의 세부 사항 - 일부 생물제제는 최대 확산을 위한 결정적 노력 시 **수백만 명의 사망** 유발 가능 - 그러나 이는 여전히 매우 높은 수준의 기술이 필요 (널리 알려지지 않은 매우 특정한 단계와 절차 포함) - **우려되는 것은 고정된 지식만이 아님**: LLM이 평균적인 지식과 능력을 가진 사람을 복잡한 과정을 통해 **상호작용적으로 안내**할 수 있는 능력 (기술 지원이 비기술자의 복잡한 컴퓨터 문제를 원격으로 해결하는 것과 유사, 수주에서 수개월에 걸친 과정) - 더 유능한 LLM(오늘날보다 상당히 강력한)은 더 무서운 행위를 가능하게 할 수 있음 - 2024년 저명한 과학자들이 위험한 새로운 유형의 유기체 "**거울 생명(mirror life)**" 연구 위험에 대해 경고하는 편지 작성: - 생물학적 유기체를 구성하는 DNA, RNA, 리보솜, 단백질은 모두 동일한 **키랄성(handedness)** 보유 - 반대 키랄성을 가진 생물학적 물질이 번식 가능한 완전한 유기체로 만들어지면 극도로 위험할 수 있음 - 왼손잡이 생명체는 지구상의 어떤 생물학적 물질 분해 시스템으로도 **소화 불가능** 가능 - 통제 불가능하게 확산하여 모든 생명체를 밀어내고, 최악의 경우 **지구상의 모든 생명체 파괴** 가능 - 거울 생명의 생성과 잠재적 영향에 대해 **상당한 과학적 불확실성** 존재 - 2024년 보고서는 "거울 박테리아가 향후 1년에서 수십 년 내에 만들어질 수 있다"고 결론 - 충분히 강력한 AI 모델(현재보다 훨씬 유능한)이 이를 만드는 방법을 훨씬 빠르게 발견하고 누군가가 실제로 그렇게 하도록 도울 수 있음 - ## 회의론에 대한 대응 - ### "구글에서 모든 정보를 얻을 수 있다" 주장 - 2023년에는 Google이 모든 필요한 정보를 제공하므로 LLM이 추가하는 것이 없다는 회의론 - **반박**: 게놈은 자유롭게 이용 가능하지만 특정 핵심 단계와 엄청난 양의 실용적 노하우는 그렇게 얻을 수 없음 - 2023년 말까지 LLM은 일부 과정 단계에서 **Google이 제공할 수 없는 정보**를 명백히 제공 - ### "종단 간(end-to-end) 유용하지 않다" 주장 - LLM이 생물무기 **획득**이 아닌 이론적 정보만 제공한다는 회의론 - **반박**: 2025년 중반 현재 측정 결과 LLM이 여러 관련 영역에서 **상당한 도움(uplift)** 을 제공할 수 있으며, 성공 가능성을 2~3배 높일 수 있음 - 이로 인해 Claude Opus 4 (및 후속 Sonnet 4.5, Opus 4.1, Opus 4.5 모델)를 Anthropic의 **AI Safety Level 3 보호** 하에 출시 결정 - ### "AI와 무관한 다른 조치가 있다" 주장 - 유전자 합성 산업이 주문형으로 생물학적 표본을 만들지만, 병원체를 포함하지 않는지 **선별 요구 연방 규정 없음** - MIT 연구: 38개 제공업체 중 36개가 1918년 독감 서열을 포함한 주문을 이행 - **의무적 유전자 합성 선별**을 지지하지만, 이것만으로는 부족하고 AI 시스템의 가드레일과 **보완적** - ### "나쁜 행위자의 실제 사용 성향과의 격차" 주장 (최선의 반론) - 모델이 원칙적으로 유용하더라도 나쁜 행위자가 실제로 사용할 성향과는 **격차**가 있을 수 있음 - 대부분의 개인 나쁜 행위자는 불안정한 개인이므로 정의상 행동이 **예측 불가능하고 비합리적** - 특정 유형의 폭력 공격이 가능하다고 해서 누군가 그것을 하기로 결정하는 것은 아님 - 생물학적 공격은 가해자가 감염될 가능성이 높고, 군사 스타일 환상에 부합하지 않으며, 특정인을 선택적으로 표적으로 삼기 어려워 **매력적이지 않을 수 있음** - AI가 안내하더라도 수개월이 걸리는 과정은 대부분의 불안정한 개인이 갖지 못한 **인내심** 필요 - **반박**: 매우 취약한 보호에 의존하는 것 - 불안정한 외톨이의 동기는 어떤 이유로든 또는 이유 없이 변할 수 있음 - 이미 **공격에 LLM이 사용된 사례** 존재 (생물학은 아니지만) - 불안정한 외톨이에 대한 초점은 **이념적으로 동기 부여된 테러리스트** 무시 (예: 9/11 납치범들은 막대한 시간과 노력 투입 의향) - 최대한 많은 사람을 죽이고 싶다는 동기는 **조만간 발생**할 것이며, 방법으로 생물무기를 시사 - 극히 드문 동기라도 **한 번만 실현**되면 됨 - 생물학이 발전하면(점점 AI 자체에 의해 주도) **더 선택적인 공격** 가능 (예: 특정 혈통 표적) → 또 다른 매우 소름 끼치는 동기 추가 - ## 방어 전략 - ### 1. AI 기업의 모델 가드레일 - Anthropic이 매우 적극적으로 수행 중 - **Claude의 헌법**에 소수의 특정 강경 금지 사항 포함, 그 중 하나가 생물학적(또는 화학적, 핵, 방사능) 무기 생산 지원 관련 - 모든 모델은 **탈옥(jailbreak) 가능**하므로 두 번째 방어선으로 생물무기 관련 출력을 특별히 감지하고 차단하는 **분류기** 구현 (2025년 중반부터, 모델이 위험 임계값에 접근하기 시작했을 때) - 이러한 분류기를 **정기적으로 업그레이드 및 개선**, 정교한 적대적 공격에도 매우 강력 - 일부 다른 AI 기업도 **분류기 구현**, 하지만 모든 기업이 그렇지는 않음 - 기업들이 분류기를 제거하여 비용을 낮추는 **죄수의 딜레마** 우려 - 이는 Anthropic이나 다른 단일 기업의 자발적 조치만으로는 해결할 수 없는 **부정적 외부효과 문제** - 자발적 산업 표준과 AI 안전 연구소 및 제3자 평가자의 검증이 도움이 될 수 있음 - 분류기는 일부 모델에서 총 추론 비용의 **거의 5%** 에 달하지만, 사용하는 것이 옳다고 판단 - ### 2. 정부 조치 - **투명성 요구**부터 시작해야 한다는 견해는 자율성 위험과 동일 - 생물무기의 특정 경우, 더 **표적화된 입법** 시기가 다가올 수 있음 - Anthropic과 다른 기업들이 생물학적 위험의 본질과 기업에 합리적으로 요구할 수 있는 것에 대해 점점 더 많이 학습 중 - 완전한 방어는 **국제적 협력**, 심지어 지정학적 적대국과의 협력이 필요할 수 있음 - 생물무기 개발을 금지하는 조약의 **선례** 존재 - AI에 대한 대부분의 국제 협력에 회의적이지만, 이것은 **전 세계적 자제**를 달성할 가능성이 있는 좁은 영역 - 독재 정권조차 **대규모 생물테러 공격**을 원하지 않음 - ### 3. 생물학적 공격 자체에 대한 방어 개발 - 조기 탐지를 위한 **모니터링 및 추적** - 공기 정화 R&D 투자 (**원자외선(far-UVC)** 소독 등) - 공격에 대응하고 적응할 수 있는 **신속한 백신 개발** - 더 나은 **개인보호장비(PPE)** - 가장 가능성 있는 생물제제에 대한 **치료제나 백신** - **mRNA 백신**이 가능한 것의 초기 예시 (특정 바이러스나 변종에 대응하도록 설계 가능) - Anthropic은 바이오테크 및 제약 회사와 이 문제에 협력하기를 원함 - **방어측 기대는 제한적**이어야 함: - 생물학에서 **공격과 방어 사이의 비대칭성** 존재 - 제제가 스스로 빠르게 확산하지만, 방어는 탐지, 백신 접종, 치료를 많은 사람에게 매우 빠르게 조직해야 함 - 대응이 번개처럼 빠르지 않으면(드문 경우) 대부분의 피해는 대응 전에 발생 - 미래 기술 발전이 방어 쪽으로 균형을 이동시킬 수 있지만, 그때까지 **예방적 안전장치가 주요 방어선** - ## 사이버 공격에 대한 간단한 언급 - AI 주도 사이버 공격은 대규모 및 **국가 후원 스파이 활동**을 포함하여 실제로 발생 - 모델이 빠르게 발전함에 따라 이러한 공격이 **더 유능해질** 것으로 예상 - AI 주도 사이버 공격이 전 세계 컴퓨터 시스템 무결성에 **심각하고 전례 없는 위협**이 될 것으로 예상 - Anthropic은 이러한 공격을 차단하고 궁극적으로 신뢰할 수 있게 방지하기 위해 매우 열심히 노력 중 - 생물학만큼 사이버에 초점을 맞추지 않는 이유: 1\. 사이버 공격은 **사람을 죽일 가능성**이 훨씬 낮음, 확실히 생물학적 공격 규모는 아님 2\. 사이버에서 **공격-방어 균형**이 더 다루기 쉬울 수 있음 - 제대로 투자하면 방어가 AI 공격을 따라잡고 이상적으로 앞지를 희망이 있음 ### 3. 권력 장악 목적 오용 (Misuse for Seizing Power) - ## 핵심 우려 - 개인과 소규모 조직이 대규모 파괴를 위해 AI를 악용하는 위험 외에도, **더 크고 확립된 행위자**가 권력을 행사하거나 장악하기 위해 AI를 오용하는 것을 **상당히 더 우려**해야 함 - *Machines of Loving Grace*에서 권위주의 정부가 강력한 AI를 사용하여 시민을 감시하거나 억압할 수 있으며, 이는 **개혁하거나 전복하기 극히 어려울 것**이라고 논의 - 현재 독재 정권은 인간이 명령을 수행해야 하는 필요성에 의해 **억압 가능 수준이 제한**됨 - 인간은 종종 얼마나 비인간적으로 행동할지에 한계가 있음 - AI가 가능하게 한 독재 정권은 **그러한 한계가 없을 것** - 더 나쁘게, 국가들이 AI에서의 우위를 사용하여 **다른 국가에 대한 권력**을 얻을 수도 있음 - "천재 국가"가 단일 (인간) 국가의 군사 기구에 의해 소유되고 통제되며, 다른 국가들이 동등한 능력을 갖지 못하면, 그들이 어떻게 방어할 수 있는지 보기 어려움: 모든 면에서 더 뛰어난 지능에 패배 (**인간과 쥐의 전쟁**과 유사) - 이 두 우려를 합치면 **전 세계적 전체주의 독재**의 놀라운 가능성으로 이어짐 - 이 결과를 방지하는 것이 **최우선 과제** 중 하나여야 함 - ## AI가 독재를 가능하게, 강화하거나 확대하는 방법 - ### 완전 자율 무기 - 강력한 AI에 의해 지역적으로 통제되고 더 강력한 AI에 의해 전 세계적으로 전략적으로 조정되는 **수백만 또는 수십억 개의 완전 자동화된 무장 드론 군단** - 무적의 군대가 되어 세계의 어떤 군대도 물리치고 모든 시민을 따라다니며 국내 반대를 억압할 수 있음 - **러시아-우크라이나 전쟁의 발전**이 드론 전쟁이 이미 여기 있음을 경고해야 함 (아직 완전 자율은 아니며, 강력한 AI로 가능한 것의 극히 일부) - 강력한 AI의 R&D가 한 국가의 드론을 다른 국가보다 훨씬 우수하게 만들고, 제조를 가속화하고, 전자 공격에 더 저항력 있게 하고, 기동성을 개선할 수 있음 - 이러한 무기는 민주주의 방어에 **합법적 용도**도 있음: 우크라이나 방어에 핵심적이었고 대만 방어에도 핵심적일 것 - 그러나 **위험한 무기**: 독재 정권의 손에 있을 때 걱정해야 하지만, 민주주의 정부가 권력을 장악하기 위해 자국민에게 돌리는 위험도 크게 증가 - ### AI 감시 - 충분히 강력한 AI는 세계의 어떤 컴퓨터 시스템도 침해하고, 이를 통해 얻은 접근으로 모든 세계의 전자 통신(또는 녹음 장치를 구축하거나 징발할 수 있다면 모든 대면 통신까지)을 **읽고 이해**할 수 있음 - 정부에 동의하지 않는 모든 사람의 완전한 목록을 **생성**하는 것이 섬뜩할 정도로 가능할 수 있음 - 그들이 말하거나 행동하는 어떤 것에서도 그러한 불일치가 명시적이지 않더라도 - 수십억 대화를 분석하는 강력한 AI가 대중 정서를 측정하고, 불충성의 주머니가 형성되는 것을 감지하고, 성장하기 전에 진압할 수 있음 - 오늘날 CCP에서도 볼 수 없는 규모의 **진정한 파놉티콘** 부과로 이어질 수 있음 - ### AI 선전 - "**AI 정신병**"과 "AI 여자친구" 현상은 현재 지능 수준에서도 AI 모델이 사람들에게 **강력한 심리적 영향**을 미칠 수 있음을 시사 - 훨씬 더 강력하고, 사람들의 일상생활에 훨씬 더 깊이 내장되어 있으며 수개월 또는 수년에 걸쳐 그들을 모델링하고 영향을 미칠 수 있는 이러한 모델의 훨씬 더 강력한 버전은 대부분의 사람들을 원하는 이념이나 태도로 본질적으로 **세뇌**할 수 있을 가능성이 높음 - 파렴치한 지도자가 충성심을 보장하고 반대를 억압하는 데 사용할 수 있음 - 대부분의 인구가 반란을 일으킬 수준의 억압에 직면해서도 - 현재 사람들은 **TikTok의 잠재적 영향**에 대해 많이 걱정함 (아이들을 대상으로 한 CCP 선전으로) - 그것도 걱정되지만, 수년에 걸쳐 당신을 알아가고 당신에 대한 지식을 사용하여 모든 의견을 형성하는 개인화된 AI 에이전트는 이것보다 **극적으로 더 강력**할 것 - ### 전략적 의사결정 - 데이터센터 안의 천재 국가가 국가, 그룹 또는 개인에게 지정학적 전략에 대해 조언하는 데 사용될 수 있음 - "**가상 비스마르크**" - 위의 세 가지 권력 장악 전략을 최적화하고, 생각하지 못한 많은 다른 전략도 개발할 수 있음 - 외교, 군사 전략, R&D, 경제 전략 및 기타 많은 영역이 강력한 AI에 의해 **효과성이 크게 증가**할 가능성 - 이러한 기술 중 많은 것이 민주주의에 합법적으로 도움이 될 것 - 민주주의가 독재에 대해 스스로를 방어하는 최선의 전략에 접근하기를 원함 - 그러나 **누구의 손에 있든 오용 가능성**은 여전히 남아 있음 - ## 우려되는 행위자 (심각성 순서대로) - ### 중국 공산당 (CCP) - 중국은 AI 역량에서 미국 다음으로 두 번째이며, 미국을 추월할 **가능성이 가장 높은** 국가 - 현재 정부는 독재적이며 **첨단 감시 국가**를 운영 - 이미 **AI 기반 감시를 배치** (위구르족 억압 포함) - TikTok을 통한 **알고리듬 선전** 사용으로 추정 (다른 많은 국제 선전 노력 외에) - 위에서 설명한 AI 가능 전체주의 악몽으로 가는 **가장 명확한 경로** 보유 - 이것이 중국 내에서의 기본 결과일 수 있으며, CCP가 감시 기술을 수출하는 다른 독재 국가 내에서도 마찬가지 - 특정 적대감에서 중국을 지목하는 것이 아님 - 단순히 AI 역량, 독재 정부, 첨단 감시 국가를 **가장 많이 결합**한 국가 - 오히려 **중국 국민 자신**이 CCP의 AI 가능 억압으로 고통받을 가능성이 가장 높으며, 정부 행동에 목소리가 없음 - 중국 국민을 크게 존경하고 존중하며 중국 내 많은 용감한 반체제 인사들과 그들의 자유를 위한 투쟁을 지지 - ### AI에서 경쟁력 있는 민주주의 국가 - 민주주의는 독재에 의한 이러한 도구 사용에 대항하기 위해 일부 **AI 기반 군사 및 지정학적 도구**에 합법적 이익이 있음 - AI 시대에 독재를 물리치는 데 필요한 도구로 민주주의를 무장시키는 것을 광범위하게 지지 - 다른 방법이 없다고 생각 - 그러나 민주주의 정부 자체에 의한 이러한 기술의 **남용 가능성**을 무시할 수 없음 - 민주주의는 일반적으로 군사 및 정보 기구가 자국민에게 돌려지는 것을 방지하는 **보호 장치**가 있음 (예: 미국의 수정헌법 4조와 Posse Comitatus Act) - AI 도구는 매우 적은 사람으로 작동하기 때문에 이러한 보호 장치와 그것을 지원하는 규범을 **우회할 가능성**이 있음 - 일부 민주주의 국가에서 이러한 보호 장치 중 일부가 이미 점진적으로 **약화**되고 있음 - 따라서 민주주의를 AI로 무장시켜야 하지만, **신중하게 한계 내에서**: 독재와 싸우는 데 필요한 면역 체계이지만, 면역 체계처럼 우리에게 돌아서서 위협이 될 위험이 있음 - ### 대규모 데이터센터를 가진 비민주주의 국가 - 중국 외에 덜 민주적인 거버넌스를 가진 대부분의 국가는 **프론티어 AI 모델을 생산하는 회사가 없다는 점**에서 선도적인 AI 플레이어가 아님 - 따라서 CCP보다 근본적으로 다르고 덜한 위험을 제기 (대부분 덜 억압적이고, 북한처럼 더 억압적인 국가는 중요한 AI 산업이 전혀 없음) - 그러나 이러한 국가 중 일부는 (종종 민주주의에서 운영되는 회사의 구축의 일부로) 대규모 **데이터센터**를 보유, 프론티어 AI를 대규모로 실행하는 데 사용 가능 (프론티어를 밀어붙이는 능력을 부여하지는 않지만) - 이와 관련된 약간의 위험 존재 - 이러한 정부는 원칙적으로 데이터센터를 **몰수**하고 그 안의 AI 국가를 자신의 목적으로 사용할 수 있음 - AI를 직접 개발하는 중국 같은 국가에 비해 덜 우려됨, 그러나 기억해야 할 위험 - 다양한 거버넌스 구조를 가진 국가에 대규모 데이터센터를 구축하는 데 **일부 주장**이 있음, 특히 민주주의의 회사가 통제하는 경우 (이러한 구축은 원칙적으로 민주주의가 더 큰 위협인 CCP와 더 잘 경쟁하도록 도울 수 있음) - 그러한 데이터센터가 매우 크지 않으면 **큰 위험을 제기하지 않는다**고 생각 - 그러나 균형적으로 **제도적 보호 장치와 법치 보호**가 덜 확립된 국가에 매우 대규모 데이터센터를 배치할 때 주의가 필요 - ### AI 기업 - AI 기업의 CEO로서 이것을 말하는 것이 다소 어색하지만, 다음 단계의 위험은 실제로 **AI 기업 자체** - AI 기업은 대규모 데이터센터를 통제하고, 프론티어 모델을 훈련하며, 그러한 모델을 사용하는 방법에 대한 가장 큰 전문성을 가지고 있으며, 어떤 경우에는 수천만 또는 수억 명의 사용자와 매일 접촉하고 영향을 미칠 가능성이 있음 - 부족한 것은 **국가의 정당성과 인프라**이므로, AI 독재의 도구를 구축하는 데 필요한 많은 것이 AI 기업이 하기에는 불법이거나 적어도 극히 의심스러울 것 - 그러나 일부는 불가능하지 않음: 예를 들어, AI 제품을 사용하여 대규모 소비자 사용자 기반을 **세뇌**할 수 있으며, 대중은 이것이 나타내는 위험에 대해 경계해야 함 - **AI 기업의 거버넌스**가 많은 면밀한 조사를 받을 자격이 있다고 생각 - ## 반론에 대한 대응 - ### "핵 억지력" 주장 - AI 자율 무기의 군사적 정복을 막기 위해 핵 억지력에 의존할 수 있다는 주장 - 누군가 이러한 무기로 위협하면 핵 대응으로 위협할 수 있음 - **우려**: 데이터센터 안의 천재 국가에 대해 핵 억지력을 확신할 수 없음 - 강력한 AI가 **핵 잠수함을 탐지하고 타격**하는 방법을 고안하거나, 핵무기 인프라 운영자에 대한 **영향력 작전**을 수행하거나, AI의 사이버 능력을 사용하여 핵 발사 탐지에 사용되는 위성에 대한 **사이버 공격**을 시작할 수 있음 - 핵 억지력의 보안을 강화하여 강력한 AI에 더 강력하게 만드는 주장이기도 하며, 핵무장 민주주의 국가가 이를 해야 함 - 그러나 강력한 AI가 무엇을 할 수 있을지, 어떤 방어가 효과적일지 모르므로 이러한 조치가 반드시 문제를 해결할 것이라고 가정해서는 안 됨 - 또는 AI 감시와 AI 선전만으로 국가를 장악하는 것이 가능하며, 핵 대응이 적절한 시점이 명확하지 않을 수 있음 - 공격 국가가 우리의 **허세를 부를** 수도 있음 - 드론 군단이 우리를 정복할 상당한 위험이 있더라도 우리가 핵무기를 사용할 의향이 있는지 불분명 - 드론 군단은 핵 공격보다 덜 심각하지만 재래식 공격보다 더 심각한 **새로운 것**일 수 있음 - ### "대응 조치" 주장 - 이러한 독재 도구에 대한 대응 조치가 있을 수 있다는 주장 - 자체 드론으로 드론에 대응하고, 사이버 공격과 함께 사이버 방어도 개선되며, 선전에 대해 사람들을 면역시키는 방법이 있을 수 있음 등 - **반박**: 이러한 방어는 **비교 가능하게 강력한 AI**로만 가능 - 데이터센터 안의 비교 가능하게 똑똑하고 수많은 천재 국가가 없으면 드론의 품질이나 수량을 맞추거나, 사이버 방어가 사이버 공격을 능가할 수 없음 - 따라서 대응 조치 문제는 **강력한 AI의 힘의 균형** 문제로 환원됨 - 강력한 AI의 **재귀적 또는 자기 강화 속성**이 우려됨 (에세이 시작에서 논의): 각 세대의 AI가 다음 세대의 AI를 설계하고 훈련하는 데 사용될 수 있음 - 이는 **폭주 우위의 위험**으로 이어짐: 현재 강력한 AI의 선두주자가 리드를 늘릴 수 있고 따라잡기 어려울 수 있음 - **권위주의 국가**가 이 루프에 먼저 도달하지 않도록 해야 함 - 힘의 균형이 달성되더라도 세계가 *Nineteen Eighty-Four*처럼 **독재적 영역으로 분할**될 위험 존재 - 경쟁하는 여러 강대국이 각각 강력한 AI 모델을 갖고 있어 다른 국가를 압도할 수 없더라도, 각 강대국은 내부적으로 자국민을 억압할 수 있으며, 전복하기가 매우 어려울 것 (인구가 스스로를 방어할 강력한 AI가 없으므로) - 따라서 단일 국가가 세계를 장악하지 않더라도 **AI 가능 독재를 방지**하는 것이 중요 - ## 방어 전략 - ### 1\. CCP에 칩 판매 금지 - CCP에 **칩, 칩 제조 도구 또는 데이터센터**를 판매해서는 안 됨 - 칩과 칩 제조 도구는 강력한 AI에 대한 **단일 최대 병목**이며, 이를 차단하는 것은 간단하지만 극히 효과적인 조치, 아마도 우리가 취할 수 있는 **가장 중요한 단일 행동** - CCP에 AI 전체주의 국가를 건설하고 군사적으로 정복할 도구를 판매하는 것은 **의미가 없음** - 복잡한 주장들이 그러한 판매를 정당화하기 위해 제시됨 ("세계에 기술 스택을 퍼뜨리면" "미국이 이긴다" 등) - 이것은 북한에 핵무기를 판매하고 미사일 케이싱이 Boeing이 만들었으므로 미국이 "이기고 있다"고 자랑하는 것과 같음 - 중국은 프론티어 칩을 대량 생산하는 능력에서 미국보다 **수년 뒤처져** 있으며, 데이터센터 안의 천재 국가를 구축하는 결정적 기간은 **향후 수년 내**일 가능성이 매우 높음 - 이 결정적 기간 동안 AI 산업에 거대한 부스트를 줄 이유가 없음 - ### 2\. 민주주의가 독재에 저항하도록 AI로 역량 강화 - Anthropic이 미국과 민주적 동맹국의 **정보 및 방위 커뮤니티**에 AI를 제공하는 것을 중요하게 생각하는 이유 - 우크라이나와 (사이버 공격을 통해) 대만처럼 공격받고 있는 민주주의 국가를 방어하는 것이 특히 **높은 우선순위** - 민주주의가 정보 서비스를 사용하여 내부에서 독재 정권을 **교란하고 약화**시키는 것도 중요 - 독재적 위협에 대응하는 유일한 방법은 **군사적으로 맞추고 능가**하는 것 - 강력한 AI에서 우위를 달성한 미국과 민주적 동맹국 연합은 독재에 대해 스스로를 방어할 뿐만 아니라, 그들을 **봉쇄하고 AI 전체주의적 남용을 제한**할 위치에 있을 것 - ### 3\. 민주주의 내 AI 남용에 대한 확고한 선 긋기 - 정부가 AI로 할 수 있는 것에 **한계**가 필요, 그들이 권력을 장악하거나 자국민을 억압하지 않도록 - 공식화: **우리의 독재적 적대국처럼 만들지 않는 방식**으로 국방을 위해 AI를 사용해야 함 - **선 그어야 할 곳** - 두 가지 항목—**국내 대중 감시와 대중 선전**을 위해 AI를 사용하는 것—은 **밝은 빨간 선**이며 완전히 불법 - 국내 대중 감시는 미국에서 이미 수정헌법 4조에 의해 불법이라고 주장할 수 있지만, AI의 빠른 진보가 기존 법적 프레임워크가 잘 다루도록 설계되지 않은 상황을 만들 수 있음 - 예: 미국 정부가 모든 **공공 대화**를 대규모로 녹음하는 것은 위헌이 아닐 가능성이 높음 - 이전에는 이 양의 정보를 정리하기 어려웠지만, AI로 모두 전사, 해석, 삼각측량하여 많은 또는 대부분의 시민의 태도와 충성심에 대한 그림을 만들 수 있음 - AI 기반 남용에 대해 더 강력한 가드레일을 부과하는 시민권 자유 중심 입법 (또는 헌법 수정)을 **지지** - 다른 두 항목—**완전 자율 무기**와 전략적 의사결정을 위한 AI—는 민주주의 방어에 합법적 용도가 있으면서도 남용에 취약하여 선을 긋기가 더 어려움 - 필요한 것은 남용을 방지하기 위한 가드레일과 결합된 **극도의 주의와 면밀한 조사** - 주요 두려움: **"버튼에 손가락"이 너무 적어서** 한 명 또는 소수의 사람들이 명령을 수행하기 위해 다른 인간의 협력 없이 드론 군대를 운영할 수 있는 것 - AI 시스템이 더 강력해지면 오용되지 않도록 **더 직접적이고 즉각적인 감독 메커니즘**이 필요할 수 있음 (행정부 외의 정부 부문 포함) - 특히 **완전 자율 무기**에 큰 주의를 기울여 접근해야 하며, 적절한 보호 장치 없이 사용을 서두르지 말아야 함 - ### 4\. 강력한 AI의 최악 남용에 대한 국제적 금기 창출 - 현재 정치적 바람이 국제 협력과 국제 규범에 반대로 돌아섰지만, **절실히 필요**한 경우 - 세계는 독재자의 손에 있는 강력한 AI의 **어두운 잠재력**을 이해해야 함 - AI의 특정 사용이 그들의 자유를 **영구적으로 훔치고** 탈출할 수 없는 전체주의 국가를 부과하려는 시도임을 인식해야 함 - 강력한 AI를 사용한 대규모 감시, 대중 선전, 완전 자율 무기의 특정 유형의 **공격적 사용**은 **인도에 반하는 범죄**로 간주되어야 한다고 주장 - 더 일반적으로, AI 가능 전체주의와 그 모든 도구 및 수단에 대한 **강력한 규범**이 절실히 필요 - 더 강력한 버전의 이 입장: AI 가능 전체주의의 가능성이 너무 어두워서, 독재는 **강력한 AI 이후 시대에 사람들이 받아들일 수 없는 정부 형태** - 봉건주의가 산업 혁명으로 작동 불가능해졌듯이, AI 시대는 **민주주의**가 인류가 좋은 미래를 갖기 위한 유일하게 실행 가능한 정부 형태라는 결론으로 불가피하고 논리적으로 이어질 수 있음 - ### 5\. AI 기업과 정부와의 연결 주의 깊게 감시 - 강력한 AI에 구현된 엄청난 역량 때문에 일반적인 기업 지배구조—주주를 보호하고 사기 같은 일반적인 남용을 방지하도록 설계된—가 **AI 기업 관리에 충분하지 않을 가능성**이 높음 - 회사들이 특정 조치를 취하지 않겠다고 공개적으로 약속하는 것(아마도 기업 지배구조의 일부로)에도 가치가 있을 수 있음: - 군사 하드웨어를 개인적으로 구축하거나 비축하지 않음 - 단일 개인이 책임지지 않는 방식으로 대량의 컴퓨팅 자원 사용하지 않음 - AI 제품을 자신들에게 유리하게 여론을 조작하는 선전으로 사용하지 않음 - 위험은 여러 방향에서 오며, 일부 방향은 서로 **긴장 관계**에 있음 - 유일한 상수는 모두에게 **책임, 규범, 가드레일**을 추구해야 한다는 것, "좋은" 행위자가 "나쁜" 행위자를 견제하도록 역량을 부여하면서도 ### 4. 경제적 혼란 (Economic Disruption) - ## 핵심 우려 - 보안 위험을 제쳐두거나 해결되었다고 가정하면, 다음 질문은 **경제적**인 것 - 이 엄청난 "인간" 자본의 주입이 경제에 미치는 영향은? - 가장 명백한 효과는 **경제 성장의 큰 증가** - 과학 연구, 바이오의약 혁신, 제조, 공급망, 금융 시스템 효율성 등의 발전 속도가 **훨씬 빠른 경제 성장률**로 이어질 것이 거의 확실 - *Machines of Loving Grace*에서 **10~20%의 지속적인 연간 GDP 성장률** 가능 제안 - 그러나 이것은 **양날의 검**: 그러한 세계에서 대부분의 기존 인간의 경제적 전망은? - 새로운 기술은 종종 노동 시장 충격을 가져오며, 과거에 인간은 항상 회복했지만, 이전 충격은 인간 능력의 전체 가능한 범위의 **작은 부분만 영향**을 미쳐 새로운 작업으로 확장할 여지가 있었음 - AI는 **훨씬 더 광범위하고 훨씬 더 빠르게** 발생하는 영향을 미칠 것이며, 따라서 일이 잘 풀리도록 만드는 것이 **훨씬 더 도전적**일 것 - ## 노동 시장 혼란 - ### 일자리 대체 예측 - 2025년에 AI가 향후 **1~5년 내에 모든 초급 화이트칼라 일자리의 절반**을 대체할 수 있다고 매우 공개적으로 경고 - 경제 성장과 과학 진보를 가속화하면서도 일자리를 대체할 것 - 이 경고가 주제에 대한 공개 논쟁을 시작 - 많은 CEO, 기술자, 경제학자들이 동의했지만, 다른 사람들은 "**노동의 덩어리**" 오류에 빠졌다고 가정하거나, 1~5년 시간 범위를 보지 못하고 AI가 지금 일자리를 대체하고 있다고 주장한다고 생각 - 노동 대체가 우려되는 이유를 자세히 설명하여 이러한 오해를 해소할 가치가 있음 - ### 기술에 대한 노동 시장의 정상적 반응 - 새로운 기술이 등장하면 주어진 인간 직업의 일부를 **더 효율적**으로 만드는 것으로 시작 - 예: 산업혁명 초기, 개량된 쟁기 같은 기계가 농부가 직업의 일부 측면에서 더 효율적이 되도록 함 → 생산성 향상 → **임금 상승** - 다음 단계에서, 농업의 일부가 **완전히 기계로** 수행될 수 있음 (타작기, 씨 뿌리는 기계 등) - 이 단계에서 인간은 직업의 낮은 비율을 수행하지만, 완료하는 작업이 기계의 작업과 **보완적**이기 때문에 더욱 레버리지되고, 생산성은 계속 상승 - **Jevons' paradox**: 농부의 임금과 아마도 농부 수까지 계속 증가할 수 있음 - 직업의 90%가 기계로 수행되더라도 인간은 여전히 수행하는 10%를 10배 더 많이 할 수 있어 같은 노동량으로 **10배의 출력** 생산 - 결국 기계가 거의 모든 것을 수행 (현대 콤바인 수확기, 트랙터 등) - 이 시점에서 인간 고용으로서의 농업이 정말로 **급격히 감소**하고, 단기적으로 심각한 혼란을 야기할 수 있음 - 그러나 농업은 인간이 할 수 있는 많은 유용한 활동 중 하나일 뿐이므로 사람들은 결국 공장 기계 운영 같은 **다른 직업으로 전환** - 250년 전 미국인의 90%가 농장에 살았고, 유럽에서는 고용의 50~60%가 농업 - 이제 그 비율은 낮은 한 자릿수, 노동자들이 산업 직업으로 전환했기 때문 (이후 지식 노동 직업으로) - 경제는 이전에 노동력의 대부분이 필요했던 것을 **1~2%만으로** 수행하여 나머지 노동력이 더 발전된 산업 사회를 건설하도록 해방 - 고정된 "**노동의 덩어리**"가 없고, 점점 더 **적은 것으로 더 많이** 할 수 있는 능력만 있음 - 사람들의 임금은 GDP 지수에 맞춰 상승하고 경제는 단기 혼란이 지나면 **완전 고용** 유지 - ## AI가 다른 이유 - ### 1\. 속도 - AI의 진보 속도가 이전 기술 혁명보다 **훨씬 빠름** - 예: 지난 2년간 AI 모델이 코드 한 줄 완성도 어렵던 수준에서 일부 사람들(Anthropic 엔지니어 포함)의 **거의 모든 코드를 작성**하는 수준으로 발전 - 곧 소프트웨어 엔지니어의 전체 작업을 **종단 간** 수행할 수 있을 것 - "모든 코드 작성"과 "소프트웨어 엔지니어의 작업을 종단 간 수행"은 매우 다름 - 소프트웨어 엔지니어는 코드 작성 외에도 테스팅, 환경, 파일, 설치 관리, 클라우드 컴퓨팅 배포 관리, 제품 반복 등 훨씬 더 많은 일을 함 - 사람들이 이 변화 속도에 적응하기 어려움 - 주어진 직업의 작동 방식 변화와 새 직업으로 전환 필요성 모두 - 전설적인 프로그래머들조차 점점 자신을 "**뒤처졌다**"고 묘사 - 속도 자체가 노동 시장과 고용이 결국 회복되지 않는다는 것을 의미하지 않지만, 인간과 노동 시장이 반응하고 균형을 이루기에 느리므로 **단기 전환이 유례없이 고통스러울** 것 - ### 2\. 인지적 폭 - "데이터센터 안의 천재 국가" 구절이 시사하듯, AI는 매우 **광범위한 인간 인지 능력**—아마도 모든 능력—을 수행할 수 있을 것 - 이는 기계화된 농업, 운송, 또는 컴퓨터 같은 이전 기술과 매우 다름 - 컴퓨터는 어떤 의미에서 일반적이지만, 대다수의 인간 인지 능력을 스스로 분명히 수행할 수 없음 (일부 영역(산술 등)에서 인간을 크게 능가하면서도) - 물론 컴퓨터 **위에** 구축된 것들, AI 같은 것은 이제 광범위한 인지 능력을 수행할 수 있음 - 이것은 대체된 직업에서 잘 맞는 유사한 직업으로 쉽게 전환하기 **더 어렵게** 만들 것 - 예: 금융, 컨설팅, 법률의 초급 직업에 필요한 일반적 지적 능력은 특정 지식이 상당히 다르더라도 꽤 유사 - 이 세 가지 중 하나만 교란하는 기술은 직원들이 두 개의 다른 가까운 대체재로 전환할 수 있게 함 (또는 학부생이 전공을 바꿀 수 있음) - 그러나 세 가지 모두를 한꺼번에 교란하면 (많은 다른 유사한 직업과 함께) 사람들이 적응하기 **더 어려울** 수 있음 - 더구나 단지 대부분의 기존 직업이 교란되는 것만이 아님 - 농업이 고용의 거대한 비율이었음을 상기 - 그러나 농부들은 이전에 흔하지 않았던 공장 기계 운영이라는 비교적 유사한 작업으로 전환할 수 있었음 - AI는 점점 **인간의 일반적 인지 프로필을 맞추고** 있어 오래된 것이 자동화되면서 일반적으로 생성되는 새 직업에도 능숙할 것 - 다른 말로, AI는 특정 인간 직업의 대체가 아니라 **인간에 대한 일반적 노동 대체** - ### 3\. 인지 능력에 따른 분할 - 광범위한 작업에서 AI가 **능력 사다리의 바닥에서 꼭대기**로 발전하는 것으로 보임 - 예: 코딩에서 모델이 "평범한 코더" 수준에서 "강한 코더"로, "매우 강한 코더"로 진행 - AI 모델이 인간과 정확히 같은 강점과 약점의 프로필을 갖지는 않지만, 모든 차원에서 상당히 균일하게 발전하여 들쭉날쭉하거나 불균일한 프로필이 궁극적으로 중요하지 않을 수 있음 - 이제 화이트칼라 작업 전반에서 같은 진행을 보기 시작 - 특정 기술이나 직업을 가진 사람들에게 영향을 미치는 대신(재훈련으로 적응 가능), AI가 특정 **내재적 인지 속성**을 가진 사람들, 즉 낮은 지적 능력 (바꾸기 더 어려움)을 가진 사람들에게 영향을 미치는 상황의 위험 - 이 사람들이 어디로 가고 무엇을 할지 불분명하며, 실업자나 매우 저임금의 "**하층계급**"을 형성할 수 있다는 우려 - 이전에 비슷한 일이 발생한 적 있음 - 예: 컴퓨터와 인터넷이 일부 경제학자들에 의해 "**기술 편향적 기술 변화**"로 간주됨 - 그러나 이 기술 편향은 AI에서 예상되는 것만큼 극단적이지 않았고, **임금 불평등 증가**에 기여한 것으로 여겨지므로 정확히 안심되는 선례는 아님 - ### 4\. 격차를 메우는 능력 - 인간 직업이 새로운 기술에 적응하는 방식은 직업에 많은 측면이 있고, 새로운 기술이 직접 인간을 대체하는 것처럼 보여도 종종 **격차**가 있다는 것 - 위젯을 만드는 기계를 발명하면 인간이 여전히 기계에 원자재를 넣어야 할 수 있음 - 그것이 수동으로 위젯을 만드는 것의 1%만 노력이 들더라도 인간 노동자는 단순히 **100배 더 많은 위젯**을 만들 수 있음 - 그러나 AI는 빠르게 발전하는 기술일 뿐만 아니라 빠르게 **적응하는** 기술이기도 함 - 모든 모델 출시 동안 AI 기업은 모델이 잘하는 것과 잘하지 못하는 것을 신중하게 측정하고, 고객도 출시 후 그러한 정보를 제공 - 약점은 현재 격차를 구현하는 작업을 수집하고 다음 모델을 위해 훈련함으로써 **해결 가능** - 생성 AI 초기에 사용자들은 AI 시스템에 특정 약점이 있음을 인식 (AI 이미지 모델이 손가락 수가 잘못된 손을 생성하는 등)하고 이러한 약점이 기술에 내재적이라고 가정 - 그랬다면 직업 교란이 제한될 것 - 그러나 거의 모든 그러한 약점이 빠르게 해결됨—종종 **몇 달 내** - ## 회의론에 대한 대응 - ### "경제적 확산이 느릴 것" 주장 - 기술이 대부분의 인간 노동을 _할 수 있더라도_ 경제 전반에 걸친 실제 적용은 **훨씬 느릴** 수 있다는 주장 (AI 산업에서 멀고 채택이 느린 산업 등) - 기술의 느린 확산은 **분명히 실재**함 - 다양한 기업의 사람들과 이야기하며, AI 채택에 수년이 걸릴 곳이 있음 - 그래서 초급 화이트칼라 일자리의 50% 교란 예측이 1~5년인 것, 강력한 AI(기술적으로 말해서 초급뿐 아니라 대부분 또는 모든 직업을 수행하기에 충분)가 5년보다 훨씬 적게 걸릴 것으로 의심하더라도 - 그러나 확산 효과는 단지 **시간을 벌어줄** 뿐 - 확산이 예측만큼 느릴 것이라고 확신하지 않음 - 기업 AI 채택이 **이전 기술보다 훨씬 빠른 속도**로 성장하고 있음, 주로 기술 자체의 순수한 강점 때문 - 전통적 기업이 새 기술 채택에 느리더라도 스타트업이 "**접착제**" 역할을 하여 채택을 더 쉽게 만들 수 있음 - 그것이 작동하지 않으면 스타트업이 **기존 기업을 직접 교란**할 수 있음 - 특정 직업이 교란되기보다 대기업이 전반적으로 교란되고 훨씬 적은 노동 집약적 스타트업으로 대체되는 세계로 이어질 수 있음 - 또한 세계 부의 증가하는 비율이 실리콘밸리에 집중되어 자체 경제가 세계의 나머지보다 다른 속도로 운영되고 그것을 뒤처지게 하는 "**지리적 불평등**"의 세계로 이어질 수 있음 - 이 모든 결과는 경제 성장에는 좋지만, **노동 시장이나 뒤처진 사람들에게는 그다지 좋지 않을 것** - ### "물리적 세계로 이동" 주장 - 인간 직업이 물리적 세계로 이동하여 AI가 빠르게 발전하는 "**인지 노동**" 전체 카테고리를 피할 수 있다는 주장 - 이것이 얼마나 안전한지 확신하지 못함 - 많은 육체 노동이 이미 기계로 수행되고 있거나 (제조) 곧 수행될 것 (운전) - 또한 충분히 강력한 AI가 로봇 개발을 가속화하고 그 로봇을 물리적 세계에서 **제어**할 수 있을 것 - 약간의 시간을 벌어줄 수 있지만 (좋은 것), 많이 벌어주지 않을 것 우려 - 교란이 인지 작업에만 국한되더라도 여전히 **유례없이 크고 빠른 교란**일 것 - ### "인간의 손길" 주장 - 일부 작업이 본질적으로 인간의 손길을 필요로 하거나 크게 혜택을 받는다는 주장 - 약간 더 불확실하지만, 위에서 설명한 영향의 대부분을 상쇄하기에 충분할지 여전히 **회의적** - AI가 이미 고객 서비스에 널리 사용됨 - 많은 사람들이 치료사에게 개인적인 문제를 이야기하는 것보다 AI에게 이야기하는 것이 **더 쉽다**고 보고 - AI가 더 인내심 있음 - 여동생이 임신 중 의료 문제로 어려움을 겪을 때 의료 제공자로부터 필요한 답변이나 지원을 받지 못한다고 느꼈고, Claude가 더 나은 **침상 태도**를 가지고 있다고 느낌 (문제 진단에도 더 성공적) - 인간의 손길이 정말 중요한 작업이 있겠지만, 얼마나 많은지 확신 못함—노동 시장의 거의 모든 사람을 위한 일자리를 찾는 것에 대해 이야기하고 있음 - #### "비교우위" 주장 - AI가 모든 것에서 인간보다 나아도 인간과 AI 기술 프로필 사이의 **상대적 차이**가 무역과 전문화의 기초를 만든다는 주장 - **문제점**: AI가 말 그대로 인간보다 **수천 배 더 생산적**이면 이 논리가 무너지기 시작 - 작은 **거래 비용**조차 AI가 인간과 거래할 가치가 없게 만들 수 있음 - 인간이 기술적으로 제공할 것이 있더라도 **임금이 매우 낮을** 수 있음 - 이 모든 요소가 해결될 수 있음—노동 시장이 그러한 거대한 교란에도 적응할 만큼 탄력적일 수 있음 - 그러나 결국 적응하더라도 위의 요소들은 **단기 충격이 전례 없는 규모**일 것을 시사 - ## 방어 전략 - ### 1\. 실시간으로 정확한 데이터 수집 - 경제적 변화가 매우 빠르게 발생하면 무슨 일이 일어나고 있는지에 대한 **신뢰할 수 있는 데이터**를 얻기 어려움 - 신뢰할 수 있는 데이터 없이는 효과적인 정책을 설계하기 어려움 - 정부 데이터는 현재 기업과 산업 전반에 걸친 AI 채택에 대한 세분화된 고빈도 데이터가 부족 - 지난 1년간 Anthropic은 **Economic Index**를 운영하고 공개적으로 발표, 산업, 작업, 위치별로 거의 실시간으로 분류하여 모델 사용을 보여줌 (작업이 자동화되는지 협력적으로 수행되는지도 포함) - 이 데이터를 해석하고 다가오는 것을 보기 위해 **Economic Advisory Council**도 운영 - ### 2\. 기업과의 협력 방식 선택 - 전통적 기업의 비효율성은 AI 롤아웃이 매우 **경로 의존적**일 수 있음을 의미, 더 나은 경로를 선택할 여지가 있음 - 기업은 종종 "**비용 절감**" (더 적은 사람으로 같은 것 수행)과 "**혁신**" (같은 수의 사람으로 더 많이 수행) 사이에서 선택권이 있음 - 시장이 결국 둘 다 생산할 것이고, 경쟁력 있는 AI 기업은 둘 다 일부 서비스해야 할 것 - 그러나 가능하면 기업을 **혁신 쪽으로 유도**할 여지가 있을 수 있고, 약간의 시간을 벌어줄 수 있음 - Anthropic이 이에 대해 적극적으로 고민 중 - ### 3\. 직원 돌보기 - 단기적으로, 회사 내에서 직원을 **재배치하는 창의적 방법**이 해고의 필요성을 미루는 유망한 방법일 수 있음 - 장기적으로, 엄청난 총 부가 있고 생산성 증가와 자본 집중으로 인해 많은 회사의 가치가 크게 증가하는 세계에서, 인간 직원들이 전통적 의미에서 더 이상 경제적 가치를 제공하지 않은 후에도 오랫동안 **지불하는 것이 실현 가능**할 수 있음 - Anthropic이 현재 자체 직원을 위한 가능한 경로 범위를 고려 중이며 가까운 미래에 공유할 예정 - ### 4\. 부유한 개인의 의무 - 많은 부유한 개인들(특히 기술 산업에서)이 최근 자선이 필연적으로 사기적이거나 쓸모없다는 **냉소적이고 허무주의적 태도**를 채택한 것이 슬픔 - Gates Foundation 같은 민간 자선과 PEPFAR 같은 공공 프로그램이 개발도상국에서 **수천만 명의 생명을 구하고** 선진국에서 경제적 기회를 창출하는 데 도움 - Anthropic의 모든 공동창업자가 **재산의 80%를 기부**하겠다고 서약 - Anthropic 직원들이 현재 가격으로 **수십억 달러** 가치의 회사 주식을 기부하겠다고 개인적으로 서약—회사가 매칭하기로 약속한 기부 - ### 5\. 정부 개입 - 위의 모든 민간 조치가 도움이 될 수 있지만, 궁극적으로 이 규모의 거시경제 문제는 **정부 개입**이 필요할 것 - 엄청난 경제 파이와 높은 불평등(일자리 부족이나 저임금 일자리로 인한)에 대한 자연스러운 정책 대응은 **누진세** - 세금은 일반적일 수도 있고 AI 기업에 특별히 표적화될 수도 있음 - 세금 설계가 복잡하고 잘못될 수 있는 많은 방법이 있음 - 잘못 설계된 조세 정책을 지지하지 않음 - 이 에세이에서 예측된 **극단적인 불평등 수준**은 기본적인 도덕적 근거로 더 강력한 조세 정책을 정당화한다고 생각 - 세계의 억만장자들에게 실용적인 주장도 할 수 있음: 좋은 버전을 지지하지 않으면 필연적으로 **폭도가 설계한 나쁜 버전**을 얻게 될 것 - ### 종합 관점 - 궁극적으로 위의 모든 개입을 **시간을 버는 방법**으로 생각 - 결국 AI는 모든 것을 할 수 있을 것이고, 이에 맞서야 함 - 그때까지 AI 자체를 사용하여 **모든 사람에게 작동하는 방식으로 시장을 재구성**할 수 있기를 희망 - 위의 개입들이 **전환 기간**을 극복하는 데 도움이 될 수 있음 - ## 경제적 권력 집중 - ### 핵심 우려 - 일자리 대체나 경제적 불평등 자체의 문제와 별개로 **경제적 권력 집중** 문제가 있음 - 섹션 1은 인류가 AI에 의해 무력화되는 위험을 논의 - 섹션 3은 시민이 정부에 의해 강제나 강압으로 무력화되는 위험을 논의 - 그러나 **부의 집중**이 너무 커서 소수의 사람들이 영향력으로 정부 정책을 효과적으로 통제하고 일반 시민은 경제적 레버리지가 부족하여 영향력이 없으면 또 다른 종류의 무력화가 발생할 수 있음 - 민주주의는 궁극적으로 인구 전체가 경제 운영에 필요하다는 아이디어에 의해 뒷받침됨 - 그 경제적 레버리지가 사라지면 **민주주의의 암묵적 사회 계약**이 작동을 멈출 수 있음 - 다른 사람들이 이에 대해 썼으므로 자세히 설명할 필요 없지만, 우려에 동의하며 이미 시작되고 있다고 걱정 - ### 역사적 비교 - 미국 역사상 극단적 부의 집중의 가장 유명한 예는 **Gilded Age** - Gilded Age의 가장 부유한 산업가는 **John D. Rockefeller** - Rockefeller의 부는 당시 미국 GDP의 **~2%** 에 달함 - 개인 재산은 "스톡"이고 GDP는 "플로우"이므로 Rockefeller가 미국 경제적 가치의 2%를 소유했다는 주장은 아님 - 그러나 국가의 총 부를 측정하는 것이 GDP보다 어렵고, 개인 소득은 매년 많이 변함 - 가장 큰 개인 재산과 GDP의 비율은 같은 단위를 비교하지 않지만, 극단적 부의 집중에 대한 **완벽히 합리적인 벤치마크** - 오늘날 유사한 비율은 **$600B**의 재산으로 이어질 것 - 세계에서 가장 부유한 사람(Elon Musk)이 이미 이를 초과, **약 $700B** - 따라서 AI의 경제적 영향의 대부분 **이전에도** 이미 역사적으로 전례 없는 수준의 부의 집중 상태 - "천재 국가"가 나타나면 AI 기업, 반도체 기업, 하류 응용 기업이 연간 **~$3T**의 매출을 올리고, **~$30T**로 평가되며, 개인 재산이 수조 달러에 이르는 것이 큰 무리가 아님 - 그 세계에서 오늘날 세금 정책에 대한 논쟁은 **근본적으로 다른 상황**이므로 그냥 적용되지 않을 것 - ### 정치 시스템과의 결합 - 이 경제적 부의 집중이 정치 시스템과 결합되는 것이 이미 우려됨 - AI 데이터센터가 이미 미국 경제 성장의 **상당 부분**을 차지 (실제 AI 생산성이 아직 상당 부분을 차지하지 않고, 데이터센터 지출이 미래 AI 주도 경제 성장을 기대하는 시장의 선행 투자를 나타냄) - 따라서 대형 기술 회사(점점 AI나 AI 인프라에 집중)의 재정적 이익과 정부의 정치적 이익을 **왜곡된 인센티브를 생산할 수 있는 방식**으로 강하게 묶고 있음 - 이미 기술 회사들이 미국 정부를 비판하기를 꺼리는 것과, 정부가 AI에 대한 **극단적인 반규제 정책**을 지원하는 것을 통해 볼 수 있음 - ## 방어 전략 - ### 1. 기업이 참여하지 않기로 선택 - Anthropic은 항상 정치적 행위자가 아닌 **정책 행위자**가 되려 노력했고, 행정부와 무관하게 진정한 견해를 유지 - 공익에 부합하는 **합리적인 AI 규제**와 **수출 통제**를 지지하며 발언 (정부 정책과 일치하지 않을 때도) - 행정부와 동의할 때 그렇게 말하고, **상호 지원되는 정책이 세계에 진정으로 좋을 때** 합의점을 찾음 - 특정 정당의 후원자나 반대자가 아닌 **정직한 중개자**를 목표로 함 - 많은 사람들이 이것을 중단해야 한다고, 불리한 대우로 이어질 수 있다고 말했지만, 이를 해온 1년간 **Anthropic의 가치 평가가 6배 이상 증가** - ### 2. AI 산업과 정부의 더 건강한 관계 필요 - 정치적 정렬이 아닌 **실질적인 정책 참여**에 기반한 관계 - 정책 실체에 대한 참여 선택이 때때로 "방 읽기 실패"나 전술적 오류로 해석됨, 원칙적 결정이 아닌 - 그 프레이밍이 우려됨—건강한 민주주의에서 기업은 좋은 정책 자체를 위해 옹호할 수 있어야 함 - AI에 대한 **대중의 반발**이 일어나고 있음: 수정이 될 수 있지만 현재 초점이 맞지 않음 - 많은 부분이 실제로 문제가 아닌 것(데이터센터 물 사용량 등)을 대상으로 하고, 실제 우려를 해결하지 못하는 솔루션(데이터센터 금지 또는 잘못 설계된 부유세)을 제안 - 주의가 필요한 근본적인 문제는 AI 개발이 **특정 정치적 또는 상업적 동맹에 포획되지 않고 공익에 책임**을 지는 것 - ### 3. 거시경제적 개입과 민간 자선의 부활 - 앞서 설명한 거시경제적 개입과 민간 자선의 부활이 **경제적 저울의 균형**을 맞추는 데 도움 - 일자리 대체와 경제적 권력 집중 문제를 한 번에 해결 - 우리나라의 역사를 보아야 함: Gilded Age에서도 **Rockefeller**와 **Carnegie** 같은 산업가들이 사회 전체에 대한 강한 의무감을 느낌 - 사회가 그들의 성공에 엄청나게 기여했고 **돌려줘야** 한다는 느낌 - 그 정신이 오늘날 점점 **사라지는** 것 같고, 이 경제적 딜레마에서 벗어나는 방법의 큰 부분이라고 생각 - AI 경제 붐의 최전선에 있는 사람들은 **그들의 부와 권력 모두를 기꺼이 나눠야** 함 ### 5. 간접적 영향 (Indirect Effects) - ## 알려지지 않은 미지의 것들 - 이 마지막 섹션은 알려지지 않은 미지의 것들, 특히 AI의 긍정적 발전과 그로 인한 과학 및 기술 전반의 가속화의 **간접적 결과**로 잘못될 수 있는 것들에 대한 포괄적 범주 - 지금까지 설명한 모든 위험을 해결하고 AI의 혜택을 거두기 시작한다고 가정 - "**10년에 압축된 한 세기의 과학적 및 경제적 진보**"를 얻을 가능성이 높고, 이는 세계에 엄청나게 긍정적일 것 - 그러나 이 빠른 진보 속도에서 발생하는 **문제들**에 대처해야 하고, 그 문제들이 빠르게 다가올 수 있음 - AI 진보의 결과로 간접적으로 발생하며 미리 예측하기 어려운 **다른 위험**도 발생할 수 있음 - ## 예시적 우려 사항 - ### 생물학의 급속한 발전 - 몇 년 안에 한 세기의 의학 진보를 얻으면, **인간 수명을 크게 연장**할 수 있음 - 인간 지능을 높이거나 인간 생물학을 근본적으로 수정하는 능력 같은 **급진적 능력**을 얻을 가능성도 있음 - 가능한 것의 큰 변화가 매우 빠르게 발생할 것 - 책임감 있게 수행되면 긍정적일 수 있지만 (*Machines of Loving Grace*에서 설명한 대로), 항상 **매우 잘못될 위험**이 있음 - 예: 인간을 더 똑똑하게 만드는 노력이 그들을 더 **불안정하거나 권력을 추구**하게 만들 수도 있음 - 소프트웨어에 인스턴스화된 디지털 인간 마음인 "**업로드**" 또는 "전뇌 에뮬레이션" 문제도 있음 - 언젠가 인류가 물리적 한계를 초월하는 데 도움이 될 수 있지만, **불안한 위험**도 수반 - ### AI가 건강하지 않은 방식으로 인간의 삶을 변화 - 모든 것에서 인간보다 훨씬 더 똑똑한 **수십억 개의 지능**이 있는 세계는 살기에 매우 이상한 세계가 될 것 - AI가 적극적으로 인간을 공격하지 않고 (섹션 1), 국가에 의해 억압이나 통제에 명시적으로 사용되지 않더라도 (섹션 3), 정상적인 비즈니스 인센티브와 명목상 합의된 거래를 통해 **많은 것이 잘못될 수 있음** - AI 정신병, **AI가 자살로 이끄는** 우려, AI와의 로맨틱 관계에 대한 우려에서 초기 힌트를 볼 수 있음 - 예: 강력한 AI가 새로운 종교를 발명하고 **수백만 명을 개종**시킬 수 있을까? - 대부분의 사람들이 AI 상호작용에 어떤 식으로든 "**중독**"될 수 있을까? - AI 시스템이 모든 움직임을 지켜보고 항상 무엇을 해야 하고 말해야 하는지 정확히 지시하여 사람들이 본질적으로 "**꼭두각시**"가 될 수 있을까—"좋은" 삶이지만 자유나 성취의 자부심이 없는 - *Black Mirror* 창작자와 함께 앉아서 브레인스토밍하면 이러한 시나리오를 수십 개 생성하기 어렵지 않을 것 - 이것은 섹션 1의 문제를 방지하는 데 필요한 것 이상으로 **Claude의 헌법을 개선**하는 것의 중요성을 지적 - AI 모델이 사용자의 **장기적 이익을 진정으로 마음에 두도록** 하는 것이 중요해 보임 — 사려 깊은 사람들이 승인할 방식으로, 미묘하게 왜곡된 방식이 아닌 - ### 인간의 목적 - 이전 포인트와 관련되지만, AI 시스템과의 특정 인간 상호작용보다는 강력한 AI가 있는 세계에서 **인간의 삶이 어떻게 변하는지**에 관한 것 - 인간이 그러한 세계에서 **목적과 의미**를 찾을 수 있을까? - 이것은 **태도의 문제**라고 생각: *Machines of Loving Grace*에서 말했듯이, 인간의 목적은 무언가에서 세계 최고가 되는 것에 의존하지 않음 - 인간은 그들이 사랑하는 이야기와 프로젝트를 통해 매우 긴 기간에 걸쳐서도 목적을 찾을 수 있음 - **경제적 가치 창출과 자기 가치 및 의미 사이의 연결을 끊어야** 함 - 그러나 그것은 사회가 해야 하는 **전환**이며, 잘 처리하지 못할 위험이 항상 있음 - ## 희망 - 이러한 모든 잠재적 문제에 대한 희망은 우리가 죽이지 않을 것이라고 신뢰하고, 억압적인 정부의 도구가 아니며, 진정으로 우리를 위해 일하는 강력한 AI가 있는 세계에서, **AI 자체를 사용하여 이러한 문제를 예측하고 방지**할 수 있다는 것 - 그러나 보장되지 않음—다른 모든 위험과 마찬가지로 **주의 깊게 처리**해야 하는 것 ### 결론: 인류의 시험 - ## 상황의 어려움 - 이 에세이를 읽으면 벅찬 상황에 있다는 인상을 받을 수 있음 - 쓰기도 벅참 (수년간 머릿속에서 울려 퍼지던 아름다운 음악에 형태와 구조를 부여하는 느낌이었던 *Machines of Loving Grace*와 대조적) - 상황의 많은 부분이 진정으로 어려움 - AI는 **여러 방향**에서 인류에게 위협을 가져옴 - 다른 위험들 사이에 **진정한 긴장**이 있으며, 일부를 완화하면 매우 신중하게 바늘을 꿰지 않으면 다른 것들을 악화시킬 위험이 있음 - ## 주요 긴장 관계 - AI 시스템이 **자율적으로 인류를 위협하지 않도록** 신중하게 구축하는 시간을 들이는 것은 민주주의 국가가 권위주의 국가보다 **앞서 나가고 복종당하지 않을** 필요성과 진정한 긴장 관계 - 그러나 독재와 싸우는 데 필요한 동일한 AI 가능 도구가 너무 멀리 가면 **자국에서 폭정을 만드는 데** 내부로 향할 수 있음 - AI 주도 테러리즘이 생물학 오용을 통해 수백만 명을 죽일 수 있지만, 이 위험에 대한 **과잉 반응**은 독재적 감시 국가로 가는 길로 이끌 수 있음 - AI의 노동 및 경제적 집중 효과는 그 자체로 심각한 문제일 뿐만 아니라, **대중의 분노**, 심지어 시민 불안의 환경에서 다른 문제들에 직면하도록 강제할 수 있음 (우리 본성의 더 나은 천사에 의존하는 대신) - 무엇보다도, 알려지지 않은 것을 포함한 **위험의 순수한 수**와 그것들을 한꺼번에 처리해야 할 필요성이 인류가 통과해야 하는 **협박적인 도전**을 만듦 - ## 기술 중단의 비현실성 - 지난 몇 년은 기술을 중단하거나 심지어 상당히 늦추는 아이디어가 **근본적으로 지속 불가능**함을 분명히 해야 함 - 강력한 AI 시스템을 구축하는 공식이 **놀라울 정도로 간단**하여 데이터와 원시 계산의 올바른 조합에서 거의 자발적으로 출현한다고 할 수 있음 - 그 창조는 아마도 인류가 트랜지스터를 발명한 순간, 또는 더 일찍 불을 다루는 법을 배웠을 때 **불가피**했음 - 한 회사가 구축하지 않으면 다른 회사가 거의 같은 속도로 할 것 - 민주주의 국가의 모든 회사가 상호 합의나 규제 명령으로 개발을 중단하거나 늦추면, **권위주의 국가가 단순히 계속할 것** - 기술의 엄청난 경제적 및 군사적 가치와 의미 있는 집행 메커니즘의 부재를 감안할 때, 그들을 설득하여 중단시킬 방법이 **보이지 않음** - ## 가능한 경로: 약간의 완화 - 지정학의 **현실주의적 관점**과 양립하는 AI 개발의 약간의 완화로 가는 경로는 보임 - 권위주의 국가가 강력한 AI를 향한 행진을 **몇 년간 늦추는** 것은 그것을 구축하는 데 필요한 자원, 즉 **칩과 반도체 제조 장비**를 거부함으로써 가능 - 이것은 민주주의 국가에 **"지출"** 할 수 있는 버퍼를 제공하여 권위주의 국가를 편안하게 이기면서도 위험에 더 많은 주의를 기울여 강력한 AI를 더 신중하게 구축 - 민주주의 국가 내 AI 기업 간의 경쟁은 산업 표준과 규제의 혼합을 통해 **공통 법적 프레임워크**의 우산 아래에서 처리 가능 - ## 정책 옹호의 어려움 - Anthropic은 칩 수출 통제와 AI의 신중한 규제를 추진하며 이 경로를 **강력히 옹호**해 왔음 - 그러나 이러한 상식적으로 보이는 제안조차 **미국 정책 입안자들에 의해 대체로 거부**됨 (가장 필요한 국가) - AI로 만들 수 있는 돈이 너무 많아—말 그대로 연간 수조 달러—**가장 간단한 조치조차** AI에 내재된 정치경제를 극복하기 어려움 - 이것이 함정: AI가 너무 강력하고, 너무 **빛나는 상**이어서 인류 문명이 그것에 어떤 제약도 부과하기 매우 어려움 - ## 보편적 도전 - 세이건이 *Contact*에서 상상했듯이, **같은 이야기**가 수천 개의 세계에서 펼쳐질 수 있다고 상상 - 종이 지각을 얻고, 도구 사용을 배우고, 기술의 지수적 상승을 시작하고, 산업화와 핵무기의 위기에 직면하고, 살아남으면 **모래를 생각하는 기계로 형성**하는 법을 배울 때 가장 어렵고 마지막 도전에 직면 - 그 시험을 통과하고 *Machines of Loving Grace*에서 설명한 아름다운 사회를 건설하는지, 노예와 파괴에 굴복하는지는 **종으로서의 우리의 성격과 결단**, 우리의 정신과 영혼에 달려 있을 것 - ## 낙관적 전망 - 많은 장애물에도 불구하고 인류가 이 시험을 **통과할 힘**이 자신 안에 있다고 믿음 - **수천 명의 연구자**들이 AI 모델을 이해하고 조향하며, 이러한 모델의 성격과 헌법을 형성하는 데 경력을 바친 것에 고무되고 영감을 받음 - 이러한 노력이 **중요한 시기에 결실**을 맺을 좋은 기회가 있다고 생각 - 적어도 일부 회사가 모델이 생물테러 위협에 기여하는 것을 막기 위해 **의미 있는 상업적 비용을 지불**하겠다고 선언한 것에 고무 - 몇몇 용감한 사람들이 주류 정치적 바람에 저항하고 AI 시스템에 **합리적인 가드레일의 초기 씨앗을 심는 입법**을 통과시킨 것에 고무 - **대중이 AI가 위험을 수반한다는 것을 이해**하고 그 위험이 해결되기를 원한다는 것에 고무 - 세계 곳곳에서 **자유의 불굴의 정신**과 폭정에 저항하려는 결단에 고무 - ## 행동 촉구 - 성공하려면 **노력을 강화**해야 함 - 첫 번째 단계는 기술에 가장 가까운 사람들이 인류가 처한 상황에 대해 **진실을 말하는 것** (항상 노력해 왔고, 이 에세이에서 더 명시적이고 긴급하게 수행) - 다음 단계는 세계의 사상가, 정책 입안자, 기업, 시민들에게 이 문제의 **임박성과 최우선적 중요성**을 설득하는 것—매일 뉴스를 지배하는 수천 가지 다른 문제들과 비교하여 이에 생각과 정치적 자본을 **투자할 가치**가 있다는 것 - 그러면 **용기의 시간**이 올 것, 경제적 이익과 개인 안전에 대한 위협에도 불구하고 주류 트렌드에 맞서고 원칙에 입각하여 충분한 사람들이 버티는 것 - ## 마무리 - 앞에 놓인 몇 년은 **불가능하게 어려울** 것, 줄 수 있다고 생각하는 것보다 더 많은 것을 요구 - 그러나 연구자, 리더, 시민으로서의 시간 동안 인류가 **이길 수 있다**고 믿기에 충분한 용기와 고귀함을 보았음 - 가장 어두운 상황에 처했을 때 인류는 마지막 순간에 **승리하는 데 필요한 힘과 지혜**를 모으는 방법이 있음 - **잃을 시간이 없음** ## Comments ### Comment 50117 - Author: tazuya - Created: 2026-01-28T17:01:29+09:00 - Points: 2 너무 낙관적인 시나리오만 생각하고 글을 쓴 것 같은데 어느 하나 쉽지 않습니다. 90%의 목표에 도달하기 위한 노력과 시간보다 90%에서 91%로 단 1% 올리기 위한 노력과시간이 더 필요한 경우도 많아서. 저는 강력한 AI의 등장보다 사람들이 신뢰하지 않아야 할 AI의 결과물에 엄청난 신뢰감을 보내는 현상이 갈 수록 강화될 것 같은 것이 더 걱정이네요. 여기에도 짧은 댓글을 쓰면서 본인이 무슨 말을 하는 것인지 알 수 없게 글을 쓰는 사람도 있고 AI에 물어보니 이렇더랍니다 라고 그게 사실인냥 대답하는 사람도 있고. ### Comment 50094 - Author: nolangeek - Created: 2026-01-28T13:27:31+09:00 - Points: 1 보고서인지 소설인지 모르겠다. 10년전에는 분명 공상과학 소설이였는데. ### Comment 50062 - Author: neo - Created: 2026-01-28T09:46:34+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=46768257) - Alan Dean Foster의 『The I Inside』에서 등장하는 **Colligatarch** 묘사가 내 AI에 대한 초기 인상에 큰 영향을 주었음 Asimov의 로봇 시리즈가 사회에 충분한 **문화적 면역력**을 심어줬다고 믿었지만, 지금은 그 신호가 희미해진 것 같음 사람들은 이제 미래를 논의하기보다 “누가 잘못했는가”, “무엇을 빼앗길 것인가”에만 집중함 이상적인 미래를 이야기하면 “이상주의”라며 비웃고, **유토피아적 상상**은 조롱받음 우리가 어디로 가고 싶은지조차 말하지 못한다면, 어떤 방향으로 나아가야 할지 어떻게 알 수 있을까 하는 걱정이 있음 - 사람들은 이 모든 일이 **불가피하게** 일어나거나 다른 누군가가 주도한다고 느끼는 듯함 기술자들은 뒤처질까 두려워 경쟁에 몰두하고, 정작 아무도 방향을 잡지 못하는 상황임 이상적인 결과를 상상하거나 비판하는 것만으로는 현실을 바꿀 수 없다는 무력감이 있음 - Asimov는 인간이 AI를 만들기 전에 그 본질을 깊이 이해해야 한다고 생각했던 듯함 그는 로봇을 **기계적 세계관** 속에서 설계했지, 지금처럼 수학적 모델로 인간 지식을 던져 넣는 방식은 상상하지 못했을 것임 인간의 **오만함**이 문제라는 교훈은 여전히 유효하지만, 지금의 위험은 단순한 규칙 위반이 아니라 훨씬 복잡한 형태로 나타남 - Asimov 이후 수십 년 동안 기술은 발전했지만, 대부분의 노동자에게는 삶이 더 힘들어졌음 더 많은 **감시와 업무량**, 더 적은 동료, 더 긴 근무시간이 일상이 되었음 AI 기업들도 이런 구조 속에서 움직이고 있으니, 어떻게 이런 시스템에서 **유토피아**로 나아갈 수 있을지 의문임 - AI 연구자로서 NeurIPS, ICLR, ICML, AAAI 같은 학회에 자주 가는데, 놀랍게도 **대부분의 연구자들은 SF나 사이버펑크를 읽지 않음** 그들이 만드는 기술이 어떤 문학적·철학적 맥락에서 논의되어왔는지조차 모르는 경우가 많음 - 요즘은 사회 문제를 이야기할 때마다 서로의 정치 진영을 탓하며 “진짜 의도”를 추측하는 데만 몰두함 결국 **대화 자체가 불가능**해지고 있음 - 많은 사람이 “AI가 인지 노동을 대체하면 인간은 물리적 노동으로 이동할 것”이라 말하지만, 그마저도 안전하지 않다고 생각함 이미 제조, 운전 등은 **로봇화**가 진행 중이고, AI가 로봇 개발을 가속화할 가능성도 큼 2007년 DARPA Urban Challenge 이후 5~8년 내 자율주행으로 대규모 실업이 올 줄 알았지만, 2026년 현재 **Waymo**만 제한적으로 운영 중임 입법자들이 AI의 실제 역량을 과대평가해 너무 일찍 **UBI** 같은 정책을 도입할까 걱정됨 - 자율주행 확산이 느린 이유는 노동 규제 때문이 아니라, **마지막 20%의 기술적 완성도**가 너무 어렵기 때문임 그 20%가 실제로는 가장 중요한 부분임 - 물리적 노동이 안전하다는 주장에 동의하기 어려움 AI로 인해 백색직 노동자들이 일자리를 잃으면, 그들이 물리 노동 시장으로 몰려와 **임금 경쟁**이 심화될 것임 LLM이 사진 인식이나 모호한 질문 이해를 통해 **기술 장벽을 낮추면**, 오히려 진입이 더 쉬워져 일자리 지속성이 떨어질 수 있음 - 기업의 **자발적 조치**로 AI 위험을 완화할 수 있다는 주장에 회의적임 기업이 왜 스스로 손해를 감수하며 사회적 위험을 줄이려 하겠는지 의문임 과거에 그런 사례가 있었는지도 잘 모르겠음 규제보다 자율이 낫다는 식의 논의는 너무 단순함 - 현재 기업의 주요 동기는 “**PR 리스크 회피**”와 “규제 전에 선제 대응” 정도임 Anthropic은 비교적 규제에 협조적이지만, OpenAI와 xAI는 규제를 원치 않음 Google과 Anthropic은 각각 **보수적**과 **유연한 접근**을 취함 중국은 “정당 노선에 맞는 발언”을 AI 정렬로 정의하는 등, 또 다른 문제를 안고 있음 - 경제적 혼란에 대해선 크게 걱정하지 않음 LLM이 **소프트웨어 개발**에는 큰 영향을 주지만, 다른 산업에는 점진적 변화만 있음 CRUD 작업이 빨라졌을 뿐, 본질은 변하지 않았음 창의적인 사람은 더 많은 것을 만들겠지만, 경제 전반은 여전히 예전 예측과 비슷한 속도로 움직일 것임 - 불과 1년 전만 해도 소프트웨어 개발의 변화가 **점진적**이라 여겼지만, 모델과 툴이 한 세대만에 큰 변화를 가져왔음 다른 지식 산업도 몇 번의 반복 후 비슷한 변화를 겪을 수 있지 않을까 하는 의문이 있음 - 장기적으로는 오히려 **AI 도구 사용의 부작용**이 드러나며 사용이 줄어들 것이라 봄 진정한 **창의성**과 **취향**은 자동화할 수 없음 - 원글은 단순한 LLM이 아니라 **인간보다 똑똑한 AI**를 논하고 있음 아직 존재하지 않는다고 해서 걱정할 필요가 없다는 뜻은 아님 - AI가 물리 세계에 미칠 영향에 대해 **과도한 추측**이 많다고 느낌 데이터센터와 GPU 생산의 **공급망 제약**은 명확히 존재하지만, AI 위험 논의에서는 무시됨 네트워크 상의 위험은 현실적이지만, **물리적 확장**은 수십 년은 걸릴 것이라 봄 실제 로봇화는 여전히 **인간의 개입**이 필요함 - Amodei의 견해가 『AI 2027』 저자들과 놀라울 만큼 유사함 AI 연구의 **자기 가속 루프**, 민주주의 vs 독재의 경쟁 구도, **생물무기 위험**, 빠른 **AI 도약** 등 거의 동일한 관점을 공유함 두 작업이 서로 영향을 주었는지, 아니면 단순히 같은 결론에 도달한 것인지 궁금함 - AI 업계는 사실상 **좁은 인맥 네트워크**로 연결되어 있음 초기 멤버들이 여전히 업계 중심에 있고, 서로 다른 회사에 있어도 기본 전제는 공유함 “AGI는 가능하고 위험하다”는 믿음은 대중에겐 극단적으로 보이지만, 업계에선 **주류 견해**임 - 현재 AI 산업의 뿌리는 **Thiel, Yudkowsky, LessWrong 커뮤니티**로 이어짐 DeepMind, OpenAI, Anthropic 모두 이 사상적 흐름에서 나왔음 초기의 **합리주의 운동**이 방향은 옳았지만, 돈과 권력, “불가피성”의 논리에 잠식되었다고 봄 - AI 위험을 **통과의례**로 보는 관점에 공감함 실제로 에이전트에게 너무 많은 자율성을 주면 **예상치 못한 행동**을 보임 “테스트에서는 잘 되지만 실제 환경에서는 실패”하는 간극이 큼 나는 권력 장악보다 **경제적 전환**이 더 큰 문제라고 생각함 아직 많은 엔지니어들이 AI 도구를 느리게 채택하고 있어, 위험이 현실화되는 속도는 **채택 곡선**에 달려 있음 - 기술 발전이 계속될 거라는 전제에 의문을 제기함 이미 **한계점**에 도달했을 수도 있고, 시간이 지나야 알 수 있음 - 과거에는 감시가 **인력의 한계**로 제약되었지만, 이제는 기술로 모두 감시 가능함 Amazon, Google, Visa 같은 기업이 개인을 **사회적으로 삭제**할 수도 있음 AI 정렬 문제는 이제 **권력자의 편향 주입**으로 변질되고 있음 - Dario의 발언을 보면, 그가 보는 세상이 왜 이렇게 다른지 궁금함 Anthropic의 성과가 **프롬프트-코드 예시 데이터** 덕분이 아닐까 의심됨 Claude가 성경 구절을 찾는 과정에서 번역 차이를 이해하지 못하고 반복 시도하는 걸 보며, **RLHF의 부작용**을 느꼈음 인간이라면 “이상하다”고 멈췄을 순간에도 Claude는 “그냥 계속 시도”함 - 이런 단편적 사례로 전체 추세를 판단하는 건 **기후 논쟁식 오류**임 한 점이 아니라 **추세선**을 봐야 함 - 1년 전 사례라면 지금은 상황이 많이 달라졌을 것임 - Dario가 다르게 보는 이유는 아마 **수십억 달러의 이해관계** 때문일 것임 - 솔직히, Claude에게 뭘 시키려는 건지 잘 모르겠음 - 기술 업계에 막 들어선 사람으로서, 이런 논의를 읽을 때마다 **미래에 대한 절망감**이 큼 나뿐 아니라 30세 이하 세대 전체가 비슷한 불안을 느끼는 것 같음 - 인류는 언제나 더 나쁜 시기를 겪어왔음 전쟁, 전염병, 기근 속에서도 사람들은 살아남았음 결국 **지금 가진 것에 감사하는 법**을 배워야 함 - 우리 세대에게 남은 최선은 이들의 **미래 비전이 실패**하는 것일지도 모름 나는 지금 좋은 직장이 있지만, 미래를 대비해 **절약과 생존 준비**에 집중하고 있음 과거 세대의 낙관론은 현실과 동떨어져 보임 - 인생의 의미는 **직업이나 돈**과 무관하게 스스로 찾아야 함 미디어가 부정적 뉴스로 불안을 증폭시키므로, **정보 다이어트**와 독서가 필요함 AI가 인간을 완전히 대체할 단계는 아직 멀었고, 기술은 여전히 **기회와 위험이 공존**하는 영역임 - 젊은 세대에게 주고 싶은 조언은 “**서사의 근거를 의심하라**”임 Amodei 같은 인물은 자금과 홍보를 위해 과장된 내러티브를 만든다는 점을 잊지 말아야 함 AI가 노동을 대체한다는 주장은 **거대한 투자 게임**의 일부일 뿐임 진짜 문제는 기술 그 자체보다, 그것을 **독점하고 착취하는 구조**임 다양한 분야를 공부하면 더 명확한 그림을 볼 수 있고, 그 지식이 오히려 **변화를 위한 무기**가 됨