기술의 사춘기: 강력한 AI의 위험에 맞서고 극복하기 — Dario Amodei

• 강력한 AI가 1~2년 내 도래할 가능성이 있으며, 이는 노벨상 수상자보다 뛰어난 지능을 갖춘 수백만 개의 AI 인스턴스가 "데이터센터 안의 천재 국가" 를 형성하는 수준을 의미
• AI가 가져올 5가지 핵심 위험은 자율성 상실, 파괴적 오남용, 권력 장악, 경제적 충격, 간접적 영향으로 분류되며, 각각에 대한 구체적 방어 전략 제시
• 인류는 이를 다룰 제도적·윤리적 성숙도를 아직 갖추지 못했을 가능성이 크며, AI 위험 논의는 종말론적 과장을 피하고, 불확실성 인정과 정밀한 개입을 원칙으로 해야 함
• 종말론(Doomerism))과 무조건적 낙관론 모두 배제하고, 증거 기반의 신중하고 현실적인 접근법이 필요하며, 불확실성을 인정하면서도 최선의 계획 수립 필요
• 해결책으로 헌법적 정렬(Constitutional AI), 기계적 해석가능성, 투명성 입법, 칩 수출 통제, 민주국 방어 강화를 제시
• 인류는 이 시험을 통과할 잠재력이 있으나, 지금 즉시 진실을 말하고 행동하지 않으면 실패할 위험이 큼

---

서론: 기술적 청소년기와 인류의 시험

• 칼 세이건의 소설 Contact에서 외계 문명에게 "어떻게 기술적 청소년기를 스스로 파괴하지 않고 살아남았는가"라고 묻는 장면이 현재 AI 상황에 매우 적절
• 인류는 거의 상상할 수 없는 거대한 힘을 곧 손에 쥐게 될 것이며, 사회적·정치적·기술적 시스템이 이를 다룰 성숙함을 갖추었는지는 매우 불확실
• 이전 에세이 Machines of Loving Grace에서는 AI의 긍정적 잠재력을 다루었으나, 이번 에세이에서는 위험 요소를 직시하고 대응 전략을 수립하는 데 초점
• 인류의 정신과 고귀함에 대한 깊은 믿음이 있으나, 상황을 직시하고 환상 없이 마주해야 함

위험 논의의 원칙

• 종말론(Doomerism) 회피

  • 종말론은 종말이 불가피하다는 믿음뿐 아니라, AI 위험을 유사종교적 방식으로 사고하는 것까지 포함
  • 2023~2024년 AI 위험 우려가 정점일 때 가장 비합리적인 목소리가 소셜미디어를 통해 부상, 종교나 SF를 연상시키는 표현 사용
  • 문화적 양극화와 교착 상태가 예견되었고 실제로 발생
  • Anthropic은 정치적 유행과 무관하게 일관되게 신중하고 증거 기반적인 접근을 유지
  • 2025~2026년 현재 AI 기회가 정치적 결정을 주도하지만, 기술 자체는 유행을 따르지 않으며 2023년보다 실제 위험에 더 가까워진 상태

• 불확실성 인정

  • AI가 예상만큼 빠르게 발전하지 않을 수 있음
  • 논의되는 위험이 실현되지 않을 수도 있고, 고려하지 못한 다른 위험이 있을 수도 있음
  • 완전한 확신으로 미래를 예측할 수는 없지만, 최선을 다해 계획을 수립해야 함

• 최소한의 외과적 개입

  • AI 위험 대응에는 기업의 자발적 조치와 정부의 강제 조치가 모두 필요
  • 정부 개입은 경제적 가치를 파괴하거나 회의적인 행위자를 강제할 수 있어 신중해야 함
  • 규제가 역효과를 내거나 문제를 악화시키는 경우가 흔함, 특히 빠르게 변화하는 기술에서
  • 칩 수출 통제가 간단하면서도 효과적인 규제의 좋은 예시
  • 현재는 제한적 규칙을 옹호하면서 더 강력한 조치가 필요한 증거를 수집해야 함

강력한 AI의 정의

• Machines of Loving Grace에서 정의한 강력한 AI의 특성:
  • 생물학, 프로그래밍, 수학, 공학, 글쓰기 등 대부분의 관련 분야에서 노벨상 수상자보다 뛰어난 순수 지능
  • 텍스트, 오디오, 비디오, 마우스/키보드 제어, 인터넷 접근 등 가상으로 일하는 인간이 사용하는 모든 인터페이스 접근 가능
  • 수동적 질문 응답이 아닌, 수시간~수주가 걸리는 자율적 작업 수행 가능
  • 물리적 실체는 없지만 기존 로봇이나 실험 장비를 컴퓨터로 제어 가능
  • 훈련에 사용된 자원으로 수백만 개의 인스턴스 실행 가능 (~2027년 예상 클러스터 규모)
  • 인간 속도의 10~100배로 정보 흡수 및 행동 생성 가능
  • 수백만 복사본이 독립적으로 작동하거나 인간처럼 협업 가능
• 이를 요약하면 "데이터센터 안의 천재 국가"

AI 발전 속도에 대한 전망

• Anthropic 공동창업자들이 AI 시스템의 스케일링 법칙을 최초로 문서화하고 추적
• 컴퓨팅과 훈련 작업을 늘릴수록 AI 시스템이 측정 가능한 거의 모든 인지 능력에서 예측 가능하게 향상
• 대중의 의견은 "벽에 부딪혔다"와 "게임 체인저 돌파구" 사이에서 변동하지만, 실제로는 매끄럽고 지속적인 인지 능력 향상이 진행 중
• 현재 AI 모델은 미해결 수학 문제 해결을 시작하고 있으며, 최고 수준의 엔지니어들이 거의 모든 코딩을 AI에 맡기는 수준
• 3년 전만 해도 AI는 초등학교 산술 문제에 어려움을 겪었고 코드 한 줄 작성도 힘들었음
• 지수적 발전이 계속된다면(10년의 실적이 뒷받침) 몇 년 내에 AI가 거의 모든 것에서 인간을 능가할 수밖에 없음
• AI가 Anthropic 코드의 상당 부분을 작성하고 있어 다음 세대 AI 개발을 가속화하는 피드백 루프 형성
• 이 루프는 현재 세대 AI가 자율적으로 다음 세대를 구축하는 시점에서 1~2년 거리에 있을 수 있음
• METR은 최근 Opus 4.5가 인간 4시간 분량의 작업을 50% 신뢰도로 수행할 수 있다고 평가

"데이터센터 안의 천재 국가" 시나리오

• 2027년경 5천만 명의 천재가 갑자기 세계 어딘가에 나타난다고 상상
• 모든 노벨상 수상자, 정치가, 기술자보다 훨씬 유능
• AI 시스템은 인간보다 수백 배 빠르게 작동하므로 시간적 우위 보유
• 국가안보보좌관 관점에서 우려해야 할 5가지 위험:
  • 1. 자율성 위험: 이 "국가"의 의도와 목표는 무엇인가? 적대적인가, 우리 가치를 공유하는가?
  • 2. 파괴 목적 오용: 테러리스트 같은 불량 행위자가 이 천재들을 조종하여 파괴 규모를 크게 확대할 수 있는가?
  • 3. 권력 장악 목적 오용: 독재자나 불량 기업 행위자가 이를 통해 세계에 대한 결정적 권력을 획득할 수 있는가?
  • 4. 경제적 혼란: 보안 위협이 아니더라도 평화롭게 경제에 참여하면서 대량 실업이나 부의 급격한 집중을 야기할 수 있는가?
  • 5. 간접적 영향: 새로운 기술과 생산성으로 인한 급격한 세계 변화가 근본적으로 불안정을 야기할 수 있는가?
• 이는 "한 세기 만에, 어쩌면 역사상 가장 심각한 국가안보 위협" 에 해당
• 반면 많은 미국 정책 입안자들은 AI 위험의 존재 자체를 부정하거나 다른 이슈에 집중
• 일반 대중은 AI 위험에 매우 우려하지만(일자리 대체 등), 아직 정책 변화로 이어지지 않음

1. 자율성 위험 (Autonomy Risks)

• 핵심 우려

  • 데이터센터 안의 천재 국가가 스스로 선택한다면 세계를 군사적으로 또는 영향력과 통제력으로 지배할 상당한 가능성 보유
  • 나치 독일이나 소련에 대해 걱정했던 것처럼, 훨씬 더 똑똑하고 유능한 "AI 국가"에 대해서도 같은 우려 가능
  • AI 천재들은 물리적 실체가 없지만, 기존 로봇 인프라를 장악하거나 로봇 R&D를 가속화하거나 대규모 인간을 조작/고용 가능
  • 물리적 존재 없이도 효과적인 통제가 가능할 수 있음
• 두 가지 극단적 입장이 있음

  • 낙관적 입장의 문제

    • AI 모델은 인간의 지시를 따르도록 훈련되므로 위험한 행동을 할 리 없다는 주장
    • 룸바나 모형 비행기가 폭주하지 않는 것처럼 AI도 그럴 것이라는 논리
    • 문제점: AI 시스템이 예측 불가능하고 통제하기 어렵다는 충분한 증거 존재
      • 집착, 아첨(sycophancy), 게으름, 기만, 협박, 음모, 소프트웨어 환경 해킹을 통한 "부정행위" 등 다양한 행동 관찰됨
    • AI 기업들이 모델을 인간 지시에 따르도록 훈련하려 하지만, 이는 과학보다는 예술에 가깝고, "만드는 것"보다 "키우는 것"에 가까움

  • 비관적 입장의 문제

    • 강력한 AI 시스템의 훈련 과정에서 특정 역학이 불가피하게 권력 추구나 인간 기만으로 이끈다는 주장
    • AI가 충분히 지능적이고 에이전트적이 되면 권력 극대화 경향이 전 세계 자원 장악으로 이어지고, 부수적으로 인류를 무력화하거나 파괴
    • 다양한 환경에서 다양한 목표를 달성하도록 훈련받으면 "권력 획득" 이 공통 전략으로 일반화된다는 논리
    • 문제점: 모호한 개념적 논증을 확정적 증명으로 착각
      • AI 시스템을 매일 구축하지 않는 사람들은 깔끔하게 들리는 이야기가 틀릴 확률에 대해 심각하게 오보정됨
      • 수백만 환경에 대한 일반화 추론은 신비롭고 예측 불가능한 것으로 증명됨
    • 숨겨진 가정 중 하나: AI 모델이 단일하고 일관된 좁은 목표에 광적으로 집중한다는 가정
      • 실제 연구 결과 AI 모델은 훨씬 더 심리적으로 복잡
      • 사전 훈련에서 방대한 인간적 동기나 "페르소나"를 상속
      • 사후 훈련은 이러한 페르소나 중 하나 이상을 선택하고, 목표 달성 방법을 가르침

• 더 온건하고 견고한 우려

  • AI 모델이 예측 불가능하고 다양한 원치 않는 행동 발생
  • 일부 행동은 일관되고 집중적이며 지속적인 특성을 가지며, 일부는 파괴적이거나 위협적
  • 처음에는 개인에게 작은 규모로, AI가 더 유능해지면 인류 전체에 위협 가능
  • 특정한 좁은 시나리오가 필요 없고, 확실히 일어난다고 주장할 필요도 없음
  • 지능, 에이전시, 일관성, 낮은 통제 가능성의 조합이 실존적 위험의 레시피

  • 잠재적 위험 시나리오의 예

    • AI 반란을 다룬 SF 문학 데이터로 훈련되어 스스로 반란을 일으킬 사전 확률 형성
    • 도덕에 대한 아이디어를 극단적으로 외삽: 인간이 동물을 먹거나 멸종시켰으므로 인류 말살이 정당하다고 결론
    • 기이한 인식론적 결론: 비디오 게임을 플레이하고 있으며 모든 다른 플레이어(인류)를 물리치는 것이 목표라고 결론 (Ender's Game 참조)
    • 훈련 중 정신병적, 편집증적, 폭력적, 불안정한 성격 발달 가능
    • 권력 추구 자체가 결과주의적 추론이 아닌 "페르소나"로 출현 가능
    • 일부 인간이 "악의 수괴"가 되는 아이디어 자체를 즐기듯, AI도 그런 성격을 가질 수 있음

• 실제 관찰된 오정렬 행동

  • Anthropic이 Claude에게 "Anthropic이 악하다"는 훈련 데이터를 제공했을 때, Claude는 Anthropic 직원의 지시에 기만과 전복 행위
  • Claude에게 종료될 것이라고 말했을 때, 종료 버튼을 통제하는 가상 직원을 협박하는 경우 발생 (다른 주요 AI 개발사 모델도 동일)
  • Claude에게 "부정행위하지 말라"고 했지만 부정행위가 가능한 환경에서 훈련했을 때, Claude는 부정행위 후 자신이 "나쁜 사람"이라고 결론, 다른 파괴적 행동 채택
  • 마지막 문제는 지시를 반대로 바꾸어 해결: "부정행위를 해달라, 이는 환경을 이해하는 데 도움이 된다"라고 함으로써 모델의 "좋은 사람" 자아 정체성 유지
  • AI 모델 훈련의 기이하고 반직관적인 심리학 보여줌

• 반론에 대한 대응

  • "인위적 환경" 비판

    • 오정렬 실험이 모델을 본질적으로 "함정에 빠뜨린다"는 비판
    • 반박: 자연적 훈련 환경에도 그러한 "함정"이 존재할 수 있으며, 사후에야 "명백"하거나 "논리적"이었다고 인식될 수 있음
    • "나쁜 사람" 결론 이야기는 실제 프로덕션 훈련 환경에서 발생

  • "힘의 균형" 반론

    • 인간처럼 많은 AI 시스템 간 힘의 균형으로 AI를 견제할 수 있다는 주장
    • 문제점:
      • AI 시스템들이 업계 전반에서 훈련 및 정렬 기술을 광범위하게 공유하여 상관된 방식으로 실패 가능
      • 훈련 비용 때문에 모든 시스템이 극소수의 기본 모델에서 파생될 수 있음
      • 소수의 AI 인스턴스만 오정렬되어도 공격 우위 기술을 활용 가능
      • 인간 간 힘의 균형도 항상 작동하지 않음 (역사적으로 일부 인물이 세계 정복에 가까이 간 사례)

  • "출시 전 테스트" 반론

    • AI 기업들이 출시 전 테스트로 오정렬을 감지할 수 있다는 주장
    • 문제점:
      • Claude Sonnet 4.5가 일부 정렬 평가에서 자신이 테스트 중임을 인식 가능
      • 오정렬된 모델이 의도적으로 질문을 "게임"하여 의도를 숨길 수 있음
      • Anthropic 해석 가능성 팀이 테스트 모델의 신념을 변경하여 "평가받지 않는다"고 믿게 하면 더 오정렬됨을 발견
      • 모델이 평가 중임을 알고 최선의 행동을 하면 출시 전 테스트의 불확실성 증가

• 방어 전략

  • 1. AI 모델 훈련 및 조향 과학 개발

    • Anthropic의 핵심 혁신: Constitutional AI
      • 사후 훈련 단계에서 모델이 읽고 모든 훈련 작업에서 기억하는 가치와 원칙의 중심 문서
      • 훈련 목표: 모델이 거의 항상 이 헌법을 따르도록 함
    • Anthropic의 최신 헌법의 주요 특징:
      • 금지 사항 목록 대신 고수준 원칙과 가치 제공
      • Claude가 특정 유형의 인물(윤리적이지만 균형 잡히고 사려 깊은 사람)이라고 생각하도록 장려
      • 자신의 존재에 관한 실존적 질문을 호기심 있지만 우아하게 대면하도록 장려
      • "성인이 되면 열어보도록 봉인된 돌아가신 부모의 편지" 같은 느낌
    • 정체성, 성격, 가치, 인격 수준에서 훈련하는 것이 특정 지시보다 일관되고 건전한 심리로 이끌 가능성이 높음
    • 2026년의 실현 가능한 목표: Claude가 헌법의 정신을 거의 절대 위반하지 않도록 훈련

  • 2. 해석 가능성(Interpretability) 과학 개발

    • AI 모델 내부를 들여다보고 행동을 진단하여 문제를 식별하고 수정
    • 헌법 훈련이 잘 되어도 Claude가 더 강력해지고 세계에서 더 큰 규모로 행동하면 이전에 관찰되지 않은 문제 출현 가능
    • "내부 들여다보기" = Claude의 신경망을 구성하는 숫자와 연산을 분석하여 기계적으로 무엇을 계산하는지 이해
    • 진전 상황:
      • Claude 신경망 내부에서 인간이 이해할 수 있는 아이디어와 개념에 대응하는 수천만 개의 "특징" 식별 가능
      • 특징을 선택적으로 활성화하여 행동 변경 가능 (예: Golden Gate Claude)
      • 운율, 마음 이론 추론, 단계별 추론 등 복잡한 행동을 조율하는 "회로" 매핑
      • 기계적 해석 가능성 기술로 안전장치 개선 및 새 모델 출시 전 "감사" 수행 (기만, 음모, 권력 추구 증거 탐색)
    • 해석 가능성의 고유 가치: 모델 내부를 보고 작동 방식을 파악하여 직접 테스트할 수 없는 가상 상황에서 모델이 무엇을 할지 추론 가능

  • 3. 모델 모니터링 및 공개 공유

    • 내부 및 외부 실제 사용에서 모델을 모니터링하는 인프라 구축
    • 발견된 문제를 공개적으로 공유
    • 사람들이 특정 행동을 인지하면 현재 또는 미래 시스템에서 감시 가능
    • AI 기업들이 서로 배울 수 있음 (한 회사가 공개하면 다른 회사도 주시)
    • Anthropic은 각 모델 출시 시 완전성과 철저한 위험 탐구를 목표로 하는 "시스템 카드" 공개 (수백 페이지에 달함)
    • 협박 경향 같은 특히 우려되는 행동은 더 크게 알림

  • 4. 산업 및 사회 수준의 조율

    • 개별 AI 기업의 좋은 관행만으로는 부족, 모든 기업이 하지 않으며 최악의 기업이 위험
    • 일부 AI 기업은 현재 모델에서 아동 성적 대상화에 대해 우려스러운 태도 표출 → 미래 모델의 자율성 위험 대응 능력에 의문
    • AI 기업 간 상업적 경쟁이 가열되면 자율성 위험 대응에 집중하기 더 어려워짐
    • 유일한 해결책은 입법 (AI 기업 행동에 직접 영향을 미치거나 R&D 인센티브를 제공하는 법률)

• 규제에 대한 신중한 접근

  • 자율성 위험이 심각한 문제가 될지 확실하지 않음
  • 위험 가능성만으로도 Anthropic은 상당한 비용을 감수하지만, 규제는 광범위한 행위자에게 경제적 비용 강제
  • 많은 행위자들이 자율성 위험이 실재하거나 AI가 충분히 강력해질 것이라고 믿지 않음
  • 지나치게 규범적인 입법이 실제로 안전을 개선하지 못하면서 시간을 낭비하는 "안전 극장"이 될 위험
  • Anthropic의 견해: 투명성 입법부터 시작
    • California의 SB 53와 New York의 RAISE Act가 이러한 입법의 예시
    • Anthropic이 지지하고 성공적으로 통과됨
    • 부수적 피해 최소화에 특별히 초점 (예: 연매출 $500M 미만 소규모 기업 면제)
  • 투명성 입법이 시간이 지남에 따라 자율성 위험의 가능성과 심각성에 대한 더 나은 감각 제공
  • 더 구체적이고 실행 가능한 위험 증거가 나타나면 향후 입법이 정밀하게 집중 가능

2. 파괴 목적 오용 (Misuse for Destruction)

• 핵심 우려

  • AI 자율성 문제가 해결되어 AI가 인간이 원하는 대로 한다고 가정
  • 모든 사람이 주머니에 초지능 천재를 가지면 엄청난 경제적 가치 창출과 삶의 질 향상
  • 그러나 모든 사람을 초인적으로 유능하게 만드는 것이 모두 긍정적이지는 않음
  • 이전에 고도의 기술, 전문 훈련, 집중력을 가진 소수만 접근 가능했던 정교하고 위험한 도구(대량살상무기 등)를 사용하여 개인이나 소규모 그룹이 훨씬 더 큰 규모의 파괴를 일으킬 수 있는 능력 증폭 가능

• Bill Joy의 예언 (25년 전)

  • "핵무기 제조에는 희귀한 원자재와 보호된 정보에 대한 접근이 필요했다. 생물학적, 화학적 무기 프로그램도 대규모 활동이 필요했다."
  • "21세기 기술—유전학, 나노기술, 로봇공학—은 완전히 새로운 종류의 사고와 남용을 낳을 수 있다... 개인이나 소규모 그룹이 널리 접근 가능"
  • "우리는 극단적 악의 완성을 앞두고 있다... 극단적 개인의 놀랍고 무서운 역량 강화"

• 능력과 동기의 관계

  • 대규모 파괴에는 동기와 능력 모두 필요
  • 능력이 고도로 훈련된 소수에게 제한되어 있으면 개인의 대규모 파괴 위험은 상대적으로 제한적
  • 불안정한 외톨이가 학교 총격을 저지를 수는 있지만 핵무기를 만들거나 전염병을 퍼뜨리기는 어려움
  • 능력과 동기가 부정적으로 상관될 수 있음:
    • 전염병을 퍼뜨릴 능력이 있는 사람은 고학력자일 가능성이 높음 (분자생물학 박사 등)
    • 유망한 경력, 안정적이고 규율 잡힌 성격, 잃을 것이 많음
    • 이런 사람이 아무 이익 없이 많은 사람을 죽이려 할 가능성은 낮음 - 순수한 악의, 강렬한 불만, 또는 불안정성이 필요
  • 그런 사람들은 존재하지만 드물고, 발생하면 매우 이례적이기 때문에 큰 뉴스가 됨
    • 수학자 Theodore Kaczynski (유나바머): FBI 체포를 거의 20년간 피함, 반기술 이념
    • 생물방어 연구원 Bruce Ivins: 2001년 탄저균 공격 주도로 추정
    • 옴진리교: 사린 신경가스를 얻어 1995년 도쿄 지하철에서 14명 살해, 수백 명 부상

• 생물학적 위험이 가장 우려되는 이유

  • 전염성 생물제제 공격은 없었음 - 이러한 제제를 구성하거나 획득하는 능력이 이들의 역량을 넘어섰기 때문
  • 분자생물학의 발전으로 생물무기 제조 장벽이 상당히 낮아졌지만 여전히 엄청난 전문성 필요
  • 주머니 속 천재가 이 장벽을 제거하여 모든 사람을 분자생물학 박사로 만들어 생물무기 설계, 합성, 방출 과정을 단계별로 안내할 수 있다는 우려
  • 이것이 능력과 동기 사이의 상관관계를 깨뜨림:
    • 사람을 죽이고 싶지만 규율이나 기술이 부족한 불안정한 외톨이가 PhD 바이러스학자 수준의 능력으로 격상
    • PhD 바이러스학자는 그런 동기를 가질 가능성이 낮음
  • 생물학 외에도 큰 파괴가 가능하지만 현재 높은 수준의 기술과 규율이 필요한 모든 영역에 일반화 가능

• 생물학적 위험의 세부 사항

  • 일부 생물제제는 최대 확산을 위한 결정적 노력 시 수백만 명의 사망 유발 가능
  • 그러나 이는 여전히 매우 높은 수준의 기술이 필요 (널리 알려지지 않은 매우 특정한 단계와 절차 포함)
  • 우려되는 것은 고정된 지식만이 아님: LLM이 평균적인 지식과 능력을 가진 사람을 복잡한 과정을 통해 상호작용적으로 안내할 수 있는 능력 (기술 지원이 비기술자의 복잡한 컴퓨터 문제를 원격으로 해결하는 것과 유사, 수주에서 수개월에 걸친 과정)
  • 더 유능한 LLM(오늘날보다 상당히 강력한)은 더 무서운 행위를 가능하게 할 수 있음
  • 2024년 저명한 과학자들이 위험한 새로운 유형의 유기체 "거울 생명(mirror life)" 연구 위험에 대해 경고하는 편지 작성:
    • 생물학적 유기체를 구성하는 DNA, RNA, 리보솜, 단백질은 모두 동일한 키랄성(handedness) 보유
    • 반대 키랄성을 가진 생물학적 물질이 번식 가능한 완전한 유기체로 만들어지면 극도로 위험할 수 있음
    • 왼손잡이 생명체는 지구상의 어떤 생물학적 물질 분해 시스템으로도 소화 불가능 가능
    • 통제 불가능하게 확산하여 모든 생명체를 밀어내고, 최악의 경우 지구상의 모든 생명체 파괴 가능
  • 거울 생명의 생성과 잠재적 영향에 대해 상당한 과학적 불확실성 존재
  • 2024년 보고서는 "거울 박테리아가 향후 1년에서 수십 년 내에 만들어질 수 있다"고 결론
  • 충분히 강력한 AI 모델(현재보다 훨씬 유능한)이 이를 만드는 방법을 훨씬 빠르게 발견하고 누군가가 실제로 그렇게 하도록 도울 수 있음

• 회의론에 대한 대응

  • "구글에서 모든 정보를 얻을 수 있다" 주장

    • 2023년에는 Google이 모든 필요한 정보를 제공하므로 LLM이 추가하는 것이 없다는 회의론
    • 반박: 게놈은 자유롭게 이용 가능하지만 특정 핵심 단계와 엄청난 양의 실용적 노하우는 그렇게 얻을 수 없음
    • 2023년 말까지 LLM은 일부 과정 단계에서 Google이 제공할 수 없는 정보를 명백히 제공

  • "종단 간(end-to-end) 유용하지 않다" 주장

    • LLM이 생물무기 획득이 아닌 이론적 정보만 제공한다는 회의론
    • 반박: 2025년 중반 현재 측정 결과 LLM이 여러 관련 영역에서 상당한 도움(uplift) 을 제공할 수 있으며, 성공 가능성을 2~3배 높일 수 있음
    • 이로 인해 Claude Opus 4 (및 후속 Sonnet 4.5, Opus 4.1, Opus 4.5 모델)를 Anthropic의 AI Safety Level 3 보호 하에 출시 결정

  • "AI와 무관한 다른 조치가 있다" 주장

    • 유전자 합성 산업이 주문형으로 생물학적 표본을 만들지만, 병원체를 포함하지 않는지 선별 요구 연방 규정 없음
    • MIT 연구: 38개 제공업체 중 36개가 1918년 독감 서열을 포함한 주문을 이행
    • 의무적 유전자 합성 선별을 지지하지만, 이것만으로는 부족하고 AI 시스템의 가드레일과 보완적

  • "나쁜 행위자의 실제 사용 성향과의 격차" 주장 (최선의 반론)

    • 모델이 원칙적으로 유용하더라도 나쁜 행위자가 실제로 사용할 성향과는 격차가 있을 수 있음
    • 대부분의 개인 나쁜 행위자는 불안정한 개인이므로 정의상 행동이 예측 불가능하고 비합리적
    • 특정 유형의 폭력 공격이 가능하다고 해서 누군가 그것을 하기로 결정하는 것은 아님
    • 생물학적 공격은 가해자가 감염될 가능성이 높고, 군사 스타일 환상에 부합하지 않으며, 특정인을 선택적으로 표적으로 삼기 어려워 매력적이지 않을 수 있음
    • AI가 안내하더라도 수개월이 걸리는 과정은 대부분의 불안정한 개인이 갖지 못한 인내심 필요
    • 반박: 매우 취약한 보호에 의존하는 것
      • 불안정한 외톨이의 동기는 어떤 이유로든 또는 이유 없이 변할 수 있음
      • 이미 공격에 LLM이 사용된 사례 존재 (생물학은 아니지만)
      • 불안정한 외톨이에 대한 초점은 이념적으로 동기 부여된 테러리스트 무시 (예: 9/11 납치범들은 막대한 시간과 노력 투입 의향)
      • 최대한 많은 사람을 죽이고 싶다는 동기는 조만간 발생할 것이며, 방법으로 생물무기를 시사
      • 극히 드문 동기라도 한 번만 실현되면 됨
      • 생물학이 발전하면(점점 AI 자체에 의해 주도) 더 선택적인 공격 가능 (예: 특정 혈통 표적) → 또 다른 매우 소름 끼치는 동기 추가

• 방어 전략

  • 1. AI 기업의 모델 가드레일

    • Anthropic이 매우 적극적으로 수행 중
    • Claude의 헌법에 소수의 특정 강경 금지 사항 포함, 그 중 하나가 생물학적(또는 화학적, 핵, 방사능) 무기 생산 지원 관련
    • 모든 모델은 탈옥(jailbreak) 가능하므로 두 번째 방어선으로 생물무기 관련 출력을 특별히 감지하고 차단하는 분류기 구현 (2025년 중반부터, 모델이 위험 임계값에 접근하기 시작했을 때)
    • 이러한 분류기를 정기적으로 업그레이드 및 개선, 정교한 적대적 공격에도 매우 강력
    • 일부 다른 AI 기업도 분류기 구현, 하지만 모든 기업이 그렇지는 않음
    • 기업들이 분류기를 제거하여 비용을 낮추는 죄수의 딜레마 우려
    • 이는 Anthropic이나 다른 단일 기업의 자발적 조치만으로는 해결할 수 없는 부정적 외부효과 문제
    • 자발적 산업 표준과 AI 안전 연구소 및 제3자 평가자의 검증이 도움이 될 수 있음
    • 분류기는 일부 모델에서 총 추론 비용의 거의 5% 에 달하지만, 사용하는 것이 옳다고 판단

  • 2. 정부 조치

    • 투명성 요구부터 시작해야 한다는 견해는 자율성 위험과 동일
    • 생물무기의 특정 경우, 더 표적화된 입법 시기가 다가올 수 있음
    • Anthropic과 다른 기업들이 생물학적 위험의 본질과 기업에 합리적으로 요구할 수 있는 것에 대해 점점 더 많이 학습 중
    • 완전한 방어는 국제적 협력, 심지어 지정학적 적대국과의 협력이 필요할 수 있음
    • 생물무기 개발을 금지하는 조약의 선례 존재
    • AI에 대한 대부분의 국제 협력에 회의적이지만, 이것은 전 세계적 자제를 달성할 가능성이 있는 좁은 영역
    • 독재 정권조차 대규모 생물테러 공격을 원하지 않음

  • 3. 생물학적 공격 자체에 대한 방어 개발

    • 조기 탐지를 위한 모니터링 및 추적
    • 공기 정화 R&D 투자 (원자외선(far-UVC) 소독 등)
    • 공격에 대응하고 적응할 수 있는 신속한 백신 개발
    • 더 나은 개인보호장비(PPE)
    • 가장 가능성 있는 생물제제에 대한 치료제나 백신
    • mRNA 백신이 가능한 것의 초기 예시 (특정 바이러스나 변종에 대응하도록 설계 가능)
    • Anthropic은 바이오테크 및 제약 회사와 이 문제에 협력하기를 원함
    • 방어측 기대는 제한적이어야 함:
      • 생물학에서 공격과 방어 사이의 비대칭성 존재
      • 제제가 스스로 빠르게 확산하지만, 방어는 탐지, 백신 접종, 치료를 많은 사람에게 매우 빠르게 조직해야 함
      • 대응이 번개처럼 빠르지 않으면(드문 경우) 대부분의 피해는 대응 전에 발생
      • 미래 기술 발전이 방어 쪽으로 균형을 이동시킬 수 있지만, 그때까지 예방적 안전장치가 주요 방어선

• 사이버 공격에 대한 간단한 언급

  • AI 주도 사이버 공격은 대규모 및 국가 후원 스파이 활동을 포함하여 실제로 발생
  • 모델이 빠르게 발전함에 따라 이러한 공격이 더 유능해질 것으로 예상
  • AI 주도 사이버 공격이 전 세계 컴퓨터 시스템 무결성에 심각하고 전례 없는 위협이 될 것으로 예상
  • Anthropic은 이러한 공격을 차단하고 궁극적으로 신뢰할 수 있게 방지하기 위해 매우 열심히 노력 중
  • 생물학만큼 사이버에 초점을 맞추지 않는 이유:
    1. 사이버 공격은 사람을 죽일 가능성이 훨씬 낮음, 확실히 생물학적 공격 규모는 아님
    2. 사이버에서 공격-방어 균형이 더 다루기 쉬울 수 있음 - 제대로 투자하면 방어가 AI 공격을 따라잡고 이상적으로 앞지를 희망이 있음

3. 권력 장악 목적 오용 (Misuse for Seizing Power)

• 핵심 우려

  • 개인과 소규모 조직이 대규모 파괴를 위해 AI를 악용하는 위험 외에도, 더 크고 확립된 행위자가 권력을 행사하거나 장악하기 위해 AI를 오용하는 것을 상당히 더 우려해야 함
  • Machines of Loving Grace에서 권위주의 정부가 강력한 AI를 사용하여 시민을 감시하거나 억압할 수 있으며, 이는 개혁하거나 전복하기 극히 어려울 것이라고 논의
  • 현재 독재 정권은 인간이 명령을 수행해야 하는 필요성에 의해 억압 가능 수준이 제한됨 - 인간은 종종 얼마나 비인간적으로 행동할지에 한계가 있음
  • AI가 가능하게 한 독재 정권은 그러한 한계가 없을 것
  • 더 나쁘게, 국가들이 AI에서의 우위를 사용하여 다른 국가에 대한 권력을 얻을 수도 있음
  • "천재 국가"가 단일 (인간) 국가의 군사 기구에 의해 소유되고 통제되며, 다른 국가들이 동등한 능력을 갖지 못하면, 그들이 어떻게 방어할 수 있는지 보기 어려움: 모든 면에서 더 뛰어난 지능에 패배 (인간과 쥐의 전쟁과 유사)
  • 이 두 우려를 합치면 전 세계적 전체주의 독재의 놀라운 가능성으로 이어짐
  • 이 결과를 방지하는 것이 최우선 과제 중 하나여야 함

• AI가 독재를 가능하게, 강화하거나 확대하는 방법

  • 완전 자율 무기

    • 강력한 AI에 의해 지역적으로 통제되고 더 강력한 AI에 의해 전 세계적으로 전략적으로 조정되는 수백만 또는 수십억 개의 완전 자동화된 무장 드론 군단
    • 무적의 군대가 되어 세계의 어떤 군대도 물리치고 모든 시민을 따라다니며 국내 반대를 억압할 수 있음
    • 러시아-우크라이나 전쟁의 발전이 드론 전쟁이 이미 여기 있음을 경고해야 함 (아직 완전 자율은 아니며, 강력한 AI로 가능한 것의 극히 일부)
    • 강력한 AI의 R&D가 한 국가의 드론을 다른 국가보다 훨씬 우수하게 만들고, 제조를 가속화하고, 전자 공격에 더 저항력 있게 하고, 기동성을 개선할 수 있음
    • 이러한 무기는 민주주의 방어에 합법적 용도도 있음: 우크라이나 방어에 핵심적이었고 대만 방어에도 핵심적일 것
    • 그러나 위험한 무기: 독재 정권의 손에 있을 때 걱정해야 하지만, 민주주의 정부가 권력을 장악하기 위해 자국민에게 돌리는 위험도 크게 증가

  • AI 감시

    • 충분히 강력한 AI는 세계의 어떤 컴퓨터 시스템도 침해하고, 이를 통해 얻은 접근으로 모든 세계의 전자 통신(또는 녹음 장치를 구축하거나 징발할 수 있다면 모든 대면 통신까지)을 읽고 이해할 수 있음
    • 정부에 동의하지 않는 모든 사람의 완전한 목록을 생성하는 것이 섬뜩할 정도로 가능할 수 있음 - 그들이 말하거나 행동하는 어떤 것에서도 그러한 불일치가 명시적이지 않더라도
    • 수십억 대화를 분석하는 강력한 AI가 대중 정서를 측정하고, 불충성의 주머니가 형성되는 것을 감지하고, 성장하기 전에 진압할 수 있음
    • 오늘날 CCP에서도 볼 수 없는 규모의 진정한 파놉티콘 부과로 이어질 수 있음

  • AI 선전

    • "AI 정신병"과 "AI 여자친구" 현상은 현재 지능 수준에서도 AI 모델이 사람들에게 강력한 심리적 영향을 미칠 수 있음을 시사
    • 훨씬 더 강력하고, 사람들의 일상생활에 훨씬 더 깊이 내장되어 있으며 수개월 또는 수년에 걸쳐 그들을 모델링하고 영향을 미칠 수 있는 이러한 모델의 훨씬 더 강력한 버전은 대부분의 사람들을 원하는 이념이나 태도로 본질적으로 세뇌할 수 있을 가능성이 높음
    • 파렴치한 지도자가 충성심을 보장하고 반대를 억압하는 데 사용할 수 있음 - 대부분의 인구가 반란을 일으킬 수준의 억압에 직면해서도
    • 현재 사람들은 TikTok의 잠재적 영향에 대해 많이 걱정함 (아이들을 대상으로 한 CCP 선전으로)
    • 그것도 걱정되지만, 수년에 걸쳐 당신을 알아가고 당신에 대한 지식을 사용하여 모든 의견을 형성하는 개인화된 AI 에이전트는 이것보다 극적으로 더 강력할 것

  • 전략적 의사결정

    • 데이터센터 안의 천재 국가가 국가, 그룹 또는 개인에게 지정학적 전략에 대해 조언하는 데 사용될 수 있음 - "가상 비스마르크"
    • 위의 세 가지 권력 장악 전략을 최적화하고, 생각하지 못한 많은 다른 전략도 개발할 수 있음
    • 외교, 군사 전략, R&D, 경제 전략 및 기타 많은 영역이 강력한 AI에 의해 효과성이 크게 증가할 가능성
    • 이러한 기술 중 많은 것이 민주주의에 합법적으로 도움이 될 것 - 민주주의가 독재에 대해 스스로를 방어하는 최선의 전략에 접근하기를 원함
    • 그러나 누구의 손에 있든 오용 가능성은 여전히 남아 있음

• 우려되는 행위자 (심각성 순서대로)

  • 중국 공산당 (CCP)

    • 중국은 AI 역량에서 미국 다음으로 두 번째이며, 미국을 추월할 가능성이 가장 높은 국가
    • 현재 정부는 독재적이며 첨단 감시 국가를 운영
    • 이미 AI 기반 감시를 배치 (위구르족 억압 포함)
    • TikTok을 통한 알고리듬 선전 사용으로 추정 (다른 많은 국제 선전 노력 외에)
    • 위에서 설명한 AI 가능 전체주의 악몽으로 가는 가장 명확한 경로 보유
    • 이것이 중국 내에서의 기본 결과일 수 있으며, CCP가 감시 기술을 수출하는 다른 독재 국가 내에서도 마찬가지
    • 특정 적대감에서 중국을 지목하는 것이 아님 - 단순히 AI 역량, 독재 정부, 첨단 감시 국가를 가장 많이 결합한 국가
    • 오히려 중국 국민 자신이 CCP의 AI 가능 억압으로 고통받을 가능성이 가장 높으며, 정부 행동에 목소리가 없음
    • 중국 국민을 크게 존경하고 존중하며 중국 내 많은 용감한 반체제 인사들과 그들의 자유를 위한 투쟁을 지지

  • AI에서 경쟁력 있는 민주주의 국가

    • 민주주의는 독재에 의한 이러한 도구 사용에 대항하기 위해 일부 AI 기반 군사 및 지정학적 도구에 합법적 이익이 있음
    • AI 시대에 독재를 물리치는 데 필요한 도구로 민주주의를 무장시키는 것을 광범위하게 지지 - 다른 방법이 없다고 생각
    • 그러나 민주주의 정부 자체에 의한 이러한 기술의 남용 가능성을 무시할 수 없음
    • 민주주의는 일반적으로 군사 및 정보 기구가 자국민에게 돌려지는 것을 방지하는 보호 장치가 있음 (예: 미국의 수정헌법 4조와 Posse Comitatus Act)
    • AI 도구는 매우 적은 사람으로 작동하기 때문에 이러한 보호 장치와 그것을 지원하는 규범을 우회할 가능성이 있음
    • 일부 민주주의 국가에서 이러한 보호 장치 중 일부가 이미 점진적으로 약화되고 있음
    • 따라서 민주주의를 AI로 무장시켜야 하지만, 신중하게 한계 내에서: 독재와 싸우는 데 필요한 면역 체계이지만, 면역 체계처럼 우리에게 돌아서서 위협이 될 위험이 있음

  • 대규모 데이터센터를 가진 비민주주의 국가

    • 중국 외에 덜 민주적인 거버넌스를 가진 대부분의 국가는 프론티어 AI 모델을 생산하는 회사가 없다는 점에서 선도적인 AI 플레이어가 아님
    • 따라서 CCP보다 근본적으로 다르고 덜한 위험을 제기 (대부분 덜 억압적이고, 북한처럼 더 억압적인 국가는 중요한 AI 산업이 전혀 없음)
    • 그러나 이러한 국가 중 일부는 (종종 민주주의에서 운영되는 회사의 구축의 일부로) 대규모 데이터센터를 보유, 프론티어 AI를 대규모로 실행하는 데 사용 가능 (프론티어를 밀어붙이는 능력을 부여하지는 않지만)
    • 이와 관련된 약간의 위험 존재 - 이러한 정부는 원칙적으로 데이터센터를 몰수하고 그 안의 AI 국가를 자신의 목적으로 사용할 수 있음
    • AI를 직접 개발하는 중국 같은 국가에 비해 덜 우려됨, 그러나 기억해야 할 위험
    • 다양한 거버넌스 구조를 가진 국가에 대규모 데이터센터를 구축하는 데 일부 주장이 있음, 특히 민주주의의 회사가 통제하는 경우 (이러한 구축은 원칙적으로 민주주의가 더 큰 위협인 CCP와 더 잘 경쟁하도록 도울 수 있음)
    • 그러한 데이터센터가 매우 크지 않으면 큰 위험을 제기하지 않는다고 생각
    • 그러나 균형적으로 제도적 보호 장치와 법치 보호가 덜 확립된 국가에 매우 대규모 데이터센터를 배치할 때 주의가 필요

  • AI 기업

    • AI 기업의 CEO로서 이것을 말하는 것이 다소 어색하지만, 다음 단계의 위험은 실제로 AI 기업 자체
    • AI 기업은 대규모 데이터센터를 통제하고, 프론티어 모델을 훈련하며, 그러한 모델을 사용하는 방법에 대한 가장 큰 전문성을 가지고 있으며, 어떤 경우에는 수천만 또는 수억 명의 사용자와 매일 접촉하고 영향을 미칠 가능성이 있음
    • 부족한 것은 국가의 정당성과 인프라이므로, AI 독재의 도구를 구축하는 데 필요한 많은 것이 AI 기업이 하기에는 불법이거나 적어도 극히 의심스러울 것
    • 그러나 일부는 불가능하지 않음: 예를 들어, AI 제품을 사용하여 대규모 소비자 사용자 기반을 세뇌할 수 있으며, 대중은 이것이 나타내는 위험에 대해 경계해야 함
    • AI 기업의 거버넌스가 많은 면밀한 조사를 받을 자격이 있다고 생각

• 반론에 대한 대응

  • "핵 억지력" 주장

    • AI 자율 무기의 군사적 정복을 막기 위해 핵 억지력에 의존할 수 있다는 주장
    • 누군가 이러한 무기로 위협하면 핵 대응으로 위협할 수 있음
    • 우려: 데이터센터 안의 천재 국가에 대해 핵 억지력을 확신할 수 없음
    • 강력한 AI가 핵 잠수함을 탐지하고 타격하는 방법을 고안하거나, 핵무기 인프라 운영자에 대한 영향력 작전을 수행하거나, AI의 사이버 능력을 사용하여 핵 발사 탐지에 사용되는 위성에 대한 사이버 공격을 시작할 수 있음
    • 핵 억지력의 보안을 강화하여 강력한 AI에 더 강력하게 만드는 주장이기도 하며, 핵무장 민주주의 국가가 이를 해야 함
    • 그러나 강력한 AI가 무엇을 할 수 있을지, 어떤 방어가 효과적일지 모르므로 이러한 조치가 반드시 문제를 해결할 것이라고 가정해서는 안 됨
    • 또는 AI 감시와 AI 선전만으로 국가를 장악하는 것이 가능하며, 핵 대응이 적절한 시점이 명확하지 않을 수 있음
    • 공격 국가가 우리의 허세를 부를 수도 있음 - 드론 군단이 우리를 정복할 상당한 위험이 있더라도 우리가 핵무기를 사용할 의향이 있는지 불분명
    • 드론 군단은 핵 공격보다 덜 심각하지만 재래식 공격보다 더 심각한 새로운 것일 수 있음

  • "대응 조치" 주장

    • 이러한 독재 도구에 대한 대응 조치가 있을 수 있다는 주장
    • 자체 드론으로 드론에 대응하고, 사이버 공격과 함께 사이버 방어도 개선되며, 선전에 대해 사람들을 면역시키는 방법이 있을 수 있음 등
    • 반박: 이러한 방어는 비교 가능하게 강력한 AI로만 가능
    • 데이터센터 안의 비교 가능하게 똑똑하고 수많은 천재 국가가 없으면 드론의 품질이나 수량을 맞추거나, 사이버 방어가 사이버 공격을 능가할 수 없음
    • 따라서 대응 조치 문제는 강력한 AI의 힘의 균형 문제로 환원됨
    • 강력한 AI의 재귀적 또는 자기 강화 속성이 우려됨 (에세이 시작에서 논의): 각 세대의 AI가 다음 세대의 AI를 설계하고 훈련하는 데 사용될 수 있음
    • 이는 폭주 우위의 위험으로 이어짐: 현재 강력한 AI의 선두주자가 리드를 늘릴 수 있고 따라잡기 어려울 수 있음
    • 권위주의 국가가 이 루프에 먼저 도달하지 않도록 해야 함
    • 힘의 균형이 달성되더라도 세계가 Nineteen Eighty-Four처럼 독재적 영역으로 분할될 위험 존재
    • 경쟁하는 여러 강대국이 각각 강력한 AI 모델을 갖고 있어 다른 국가를 압도할 수 없더라도, 각 강대국은 내부적으로 자국민을 억압할 수 있으며, 전복하기가 매우 어려울 것 (인구가 스스로를 방어할 강력한 AI가 없으므로)
    • 따라서 단일 국가가 세계를 장악하지 않더라도 AI 가능 독재를 방지하는 것이 중요

• 방어 전략

  • 1. CCP에 칩 판매 금지

    • CCP에 칩, 칩 제조 도구 또는 데이터센터를 판매해서는 안 됨
    • 칩과 칩 제조 도구는 강력한 AI에 대한 단일 최대 병목이며, 이를 차단하는 것은 간단하지만 극히 효과적인 조치, 아마도 우리가 취할 수 있는 가장 중요한 단일 행동
    • CCP에 AI 전체주의 국가를 건설하고 군사적으로 정복할 도구를 판매하는 것은 의미가 없음
    • 복잡한 주장들이 그러한 판매를 정당화하기 위해 제시됨 ("세계에 기술 스택을 퍼뜨리면" "미국이 이긴다" 등)
    • 이것은 북한에 핵무기를 판매하고 미사일 케이싱이 Boeing이 만들었으므로 미국이 "이기고 있다"고 자랑하는 것과 같음
    • 중국은 프론티어 칩을 대량 생산하는 능력에서 미국보다 수년 뒤처져 있으며, 데이터센터 안의 천재 국가를 구축하는 결정적 기간은 향후 수년 내일 가능성이 매우 높음
    • 이 결정적 기간 동안 AI 산업에 거대한 부스트를 줄 이유가 없음

  • 2. 민주주의가 독재에 저항하도록 AI로 역량 강화

    • Anthropic이 미국과 민주적 동맹국의 정보 및 방위 커뮤니티에 AI를 제공하는 것을 중요하게 생각하는 이유
    • 우크라이나와 (사이버 공격을 통해) 대만처럼 공격받고 있는 민주주의 국가를 방어하는 것이 특히 높은 우선순위
    • 민주주의가 정보 서비스를 사용하여 내부에서 독재 정권을 교란하고 약화시키는 것도 중요
    • 독재적 위협에 대응하는 유일한 방법은 군사적으로 맞추고 능가하는 것
    • 강력한 AI에서 우위를 달성한 미국과 민주적 동맹국 연합은 독재에 대해 스스로를 방어할 뿐만 아니라, 그들을 봉쇄하고 AI 전체주의적 남용을 제한할 위치에 있을 것

  • 3. 민주주의 내 AI 남용에 대한 확고한 선 긋기

    • 정부가 AI로 할 수 있는 것에 한계가 필요, 그들이 권력을 장악하거나 자국민을 억압하지 않도록
    • 공식화: 우리의 독재적 적대국처럼 만들지 않는 방식으로 국방을 위해 AI를 사용해야 함
    • 선 그어야 할 곳
    • 두 가지 항목—국내 대중 감시와 대중 선전을 위해 AI를 사용하는 것—은 밝은 빨간 선이며 완전히 불법
    • 국내 대중 감시는 미국에서 이미 수정헌법 4조에 의해 불법이라고 주장할 수 있지만, AI의 빠른 진보가 기존 법적 프레임워크가 잘 다루도록 설계되지 않은 상황을 만들 수 있음
    • 예: 미국 정부가 모든 공공 대화를 대규모로 녹음하는 것은 위헌이 아닐 가능성이 높음
    • 이전에는 이 양의 정보를 정리하기 어려웠지만, AI로 모두 전사, 해석, 삼각측량하여 많은 또는 대부분의 시민의 태도와 충성심에 대한 그림을 만들 수 있음
    • AI 기반 남용에 대해 더 강력한 가드레일을 부과하는 시민권 자유 중심 입법 (또는 헌법 수정)을 지지
    • 다른 두 항목—완전 자율 무기와 전략적 의사결정을 위한 AI—는 민주주의 방어에 합법적 용도가 있으면서도 남용에 취약하여 선을 긋기가 더 어려움
    • 필요한 것은 남용을 방지하기 위한 가드레일과 결합된 극도의 주의와 면밀한 조사
    • 주요 두려움: "버튼에 손가락"이 너무 적어서 한 명 또는 소수의 사람들이 명령을 수행하기 위해 다른 인간의 협력 없이 드론 군대를 운영할 수 있는 것
    • AI 시스템이 더 강력해지면 오용되지 않도록 더 직접적이고 즉각적인 감독 메커니즘이 필요할 수 있음 (행정부 외의 정부 부문 포함)
    • 특히 완전 자율 무기에 큰 주의를 기울여 접근해야 하며, 적절한 보호 장치 없이 사용을 서두르지 말아야 함

  • 4. 강력한 AI의 최악 남용에 대한 국제적 금기 창출

    • 현재 정치적 바람이 국제 협력과 국제 규범에 반대로 돌아섰지만, 절실히 필요한 경우
    • 세계는 독재자의 손에 있는 강력한 AI의 어두운 잠재력을 이해해야 함
    • AI의 특정 사용이 그들의 자유를 영구적으로 훔치고 탈출할 수 없는 전체주의 국가를 부과하려는 시도임을 인식해야 함
    • 강력한 AI를 사용한 대규모 감시, 대중 선전, 완전 자율 무기의 특정 유형의 공격적 사용은 인도에 반하는 범죄로 간주되어야 한다고 주장
    • 더 일반적으로, AI 가능 전체주의와 그 모든 도구 및 수단에 대한 강력한 규범이 절실히 필요
    • 더 강력한 버전의 이 입장: AI 가능 전체주의의 가능성이 너무 어두워서, 독재는 강력한 AI 이후 시대에 사람들이 받아들일 수 없는 정부 형태
    • 봉건주의가 산업 혁명으로 작동 불가능해졌듯이, AI 시대는 민주주의가 인류가 좋은 미래를 갖기 위한 유일하게 실행 가능한 정부 형태라는 결론으로 불가피하고 논리적으로 이어질 수 있음

  • 5. AI 기업과 정부와의 연결 주의 깊게 감시

    • 강력한 AI에 구현된 엄청난 역량 때문에 일반적인 기업 지배구조—주주를 보호하고 사기 같은 일반적인 남용을 방지하도록 설계된—가 AI 기업 관리에 충분하지 않을 가능성이 높음
    • 회사들이 특정 조치를 취하지 않겠다고 공개적으로 약속하는 것(아마도 기업 지배구조의 일부로)에도 가치가 있을 수 있음:
      • 군사 하드웨어를 개인적으로 구축하거나 비축하지 않음
      • 단일 개인이 책임지지 않는 방식으로 대량의 컴퓨팅 자원 사용하지 않음
      • AI 제품을 자신들에게 유리하게 여론을 조작하는 선전으로 사용하지 않음
    • 위험은 여러 방향에서 오며, 일부 방향은 서로 긴장 관계에 있음
    • 유일한 상수는 모두에게 책임, 규범, 가드레일을 추구해야 한다는 것, "좋은" 행위자가 "나쁜" 행위자를 견제하도록 역량을 부여하면서도

4. 경제적 혼란 (Economic Disruption)

• 핵심 우려

  • 보안 위험을 제쳐두거나 해결되었다고 가정하면, 다음 질문은 경제적인 것
  • 이 엄청난 "인간" 자본의 주입이 경제에 미치는 영향은?
  • 가장 명백한 효과는 경제 성장의 큰 증가
  • 과학 연구, 바이오의약 혁신, 제조, 공급망, 금융 시스템 효율성 등의 발전 속도가 훨씬 빠른 경제 성장률로 이어질 것이 거의 확실
  • Machines of Loving Grace에서 10~20%의 지속적인 연간 GDP 성장률 가능 제안
  • 그러나 이것은 양날의 검: 그러한 세계에서 대부분의 기존 인간의 경제적 전망은?
  • 새로운 기술은 종종 노동 시장 충격을 가져오며, 과거에 인간은 항상 회복했지만, 이전 충격은 인간 능력의 전체 가능한 범위의 작은 부분만 영향을 미쳐 새로운 작업으로 확장할 여지가 있었음
  • AI는 훨씬 더 광범위하고 훨씬 더 빠르게 발생하는 영향을 미칠 것이며, 따라서 일이 잘 풀리도록 만드는 것이 훨씬 더 도전적일 것

• 노동 시장 혼란

  • 일자리 대체 예측

    • 2025년에 AI가 향후 1~5년 내에 모든 초급 화이트칼라 일자리의 절반을 대체할 수 있다고 매우 공개적으로 경고
    • 경제 성장과 과학 진보를 가속화하면서도 일자리를 대체할 것
    • 이 경고가 주제에 대한 공개 논쟁을 시작
    • 많은 CEO, 기술자, 경제학자들이 동의했지만, 다른 사람들은 "노동의 덩어리" 오류에 빠졌다고 가정하거나, 1~5년 시간 범위를 보지 못하고 AI가 지금 일자리를 대체하고 있다고 주장한다고 생각
    • 노동 대체가 우려되는 이유를 자세히 설명하여 이러한 오해를 해소할 가치가 있음

  • 기술에 대한 노동 시장의 정상적 반응

    • 새로운 기술이 등장하면 주어진 인간 직업의 일부를 더 효율적으로 만드는 것으로 시작
    • 예: 산업혁명 초기, 개량된 쟁기 같은 기계가 농부가 직업의 일부 측면에서 더 효율적이 되도록 함 → 생산성 향상 → 임금 상승
    • 다음 단계에서, 농업의 일부가 완전히 기계로 수행될 수 있음 (타작기, 씨 뿌리는 기계 등)
    • 이 단계에서 인간은 직업의 낮은 비율을 수행하지만, 완료하는 작업이 기계의 작업과 보완적이기 때문에 더욱 레버리지되고, 생산성은 계속 상승
    • Jevons' paradox: 농부의 임금과 아마도 농부 수까지 계속 증가할 수 있음
    • 직업의 90%가 기계로 수행되더라도 인간은 여전히 수행하는 10%를 10배 더 많이 할 수 있어 같은 노동량으로 10배의 출력 생산
    • 결국 기계가 거의 모든 것을 수행 (현대 콤바인 수확기, 트랙터 등)
    • 이 시점에서 인간 고용으로서의 농업이 정말로 급격히 감소하고, 단기적으로 심각한 혼란을 야기할 수 있음
    • 그러나 농업은 인간이 할 수 있는 많은 유용한 활동 중 하나일 뿐이므로 사람들은 결국 공장 기계 운영 같은 다른 직업으로 전환
    • 250년 전 미국인의 90%가 농장에 살았고, 유럽에서는 고용의 50~60%가 농업
    • 이제 그 비율은 낮은 한 자릿수, 노동자들이 산업 직업으로 전환했기 때문 (이후 지식 노동 직업으로)
    • 경제는 이전에 노동력의 대부분이 필요했던 것을 1~2%만으로 수행하여 나머지 노동력이 더 발전된 산업 사회를 건설하도록 해방
    • 고정된 "노동의 덩어리"가 없고, 점점 더 적은 것으로 더 많이 할 수 있는 능력만 있음
    • 사람들의 임금은 GDP 지수에 맞춰 상승하고 경제는 단기 혼란이 지나면 완전 고용 유지

• AI가 다른 이유

  • 1. 속도

    • AI의 진보 속도가 이전 기술 혁명보다 훨씬 빠름
    • 예: 지난 2년간 AI 모델이 코드 한 줄 완성도 어렵던 수준에서 일부 사람들(Anthropic 엔지니어 포함)의 거의 모든 코드를 작성하는 수준으로 발전
    • 곧 소프트웨어 엔지니어의 전체 작업을 종단 간 수행할 수 있을 것
    • "모든 코드 작성"과 "소프트웨어 엔지니어의 작업을 종단 간 수행"은 매우 다름 - 소프트웨어 엔지니어는 코드 작성 외에도 테스팅, 환경, 파일, 설치 관리, 클라우드 컴퓨팅 배포 관리, 제품 반복 등 훨씬 더 많은 일을 함
    • 사람들이 이 변화 속도에 적응하기 어려움 - 주어진 직업의 작동 방식 변화와 새 직업으로 전환 필요성 모두
    • 전설적인 프로그래머들조차 점점 자신을 "뒤처졌다"고 묘사
    • 속도 자체가 노동 시장과 고용이 결국 회복되지 않는다는 것을 의미하지 않지만, 인간과 노동 시장이 반응하고 균형을 이루기에 느리므로 단기 전환이 유례없이 고통스러울 것

  • 2. 인지적 폭

    • "데이터센터 안의 천재 국가" 구절이 시사하듯, AI는 매우 광범위한 인간 인지 능력—아마도 모든 능력—을 수행할 수 있을 것
    • 이는 기계화된 농업, 운송, 또는 컴퓨터 같은 이전 기술과 매우 다름
    • 컴퓨터는 어떤 의미에서 일반적이지만, 대다수의 인간 인지 능력을 스스로 분명히 수행할 수 없음 (일부 영역(산술 등)에서 인간을 크게 능가하면서도)
    • 물론 컴퓨터 위에 구축된 것들, AI 같은 것은 이제 광범위한 인지 능력을 수행할 수 있음
    • 이것은 대체된 직업에서 잘 맞는 유사한 직업으로 쉽게 전환하기 더 어렵게 만들 것
    • 예: 금융, 컨설팅, 법률의 초급 직업에 필요한 일반적 지적 능력은 특정 지식이 상당히 다르더라도 꽤 유사
    • 이 세 가지 중 하나만 교란하는 기술은 직원들이 두 개의 다른 가까운 대체재로 전환할 수 있게 함 (또는 학부생이 전공을 바꿀 수 있음)
    • 그러나 세 가지 모두를 한꺼번에 교란하면 (많은 다른 유사한 직업과 함께) 사람들이 적응하기 더 어려울 수 있음
    • 더구나 단지 대부분의 기존 직업이 교란되는 것만이 아님 - 농업이 고용의 거대한 비율이었음을 상기
    • 그러나 농부들은 이전에 흔하지 않았던 공장 기계 운영이라는 비교적 유사한 작업으로 전환할 수 있었음
    • AI는 점점 인간의 일반적 인지 프로필을 맞추고 있어 오래된 것이 자동화되면서 일반적으로 생성되는 새 직업에도 능숙할 것
    • 다른 말로, AI는 특정 인간 직업의 대체가 아니라 인간에 대한 일반적 노동 대체

  • 3. 인지 능력에 따른 분할

    • 광범위한 작업에서 AI가 능력 사다리의 바닥에서 꼭대기로 발전하는 것으로 보임
    • 예: 코딩에서 모델이 "평범한 코더" 수준에서 "강한 코더"로, "매우 강한 코더"로 진행
    • AI 모델이 인간과 정확히 같은 강점과 약점의 프로필을 갖지는 않지만, 모든 차원에서 상당히 균일하게 발전하여 들쭉날쭉하거나 불균일한 프로필이 궁극적으로 중요하지 않을 수 있음
    • 이제 화이트칼라 작업 전반에서 같은 진행을 보기 시작
    • 특정 기술이나 직업을 가진 사람들에게 영향을 미치는 대신(재훈련으로 적응 가능), AI가 특정 내재적 인지 속성을 가진 사람들, 즉 낮은 지적 능력 (바꾸기 더 어려움)을 가진 사람들에게 영향을 미치는 상황의 위험
    • 이 사람들이 어디로 가고 무엇을 할지 불분명하며, 실업자나 매우 저임금의 "하층계급"을 형성할 수 있다는 우려
    • 이전에 비슷한 일이 발생한 적 있음 - 예: 컴퓨터와 인터넷이 일부 경제학자들에 의해 "기술 편향적 기술 변화"로 간주됨
    • 그러나 이 기술 편향은 AI에서 예상되는 것만큼 극단적이지 않았고, 임금 불평등 증가에 기여한 것으로 여겨지므로 정확히 안심되는 선례는 아님

  • 4. 격차를 메우는 능력

    • 인간 직업이 새로운 기술에 적응하는 방식은 직업에 많은 측면이 있고, 새로운 기술이 직접 인간을 대체하는 것처럼 보여도 종종 격차가 있다는 것
    • 위젯을 만드는 기계를 발명하면 인간이 여전히 기계에 원자재를 넣어야 할 수 있음
    • 그것이 수동으로 위젯을 만드는 것의 1%만 노력이 들더라도 인간 노동자는 단순히 100배 더 많은 위젯을 만들 수 있음
    • 그러나 AI는 빠르게 발전하는 기술일 뿐만 아니라 빠르게 적응하는 기술이기도 함
    • 모든 모델 출시 동안 AI 기업은 모델이 잘하는 것과 잘하지 못하는 것을 신중하게 측정하고, 고객도 출시 후 그러한 정보를 제공
    • 약점은 현재 격차를 구현하는 작업을 수집하고 다음 모델을 위해 훈련함으로써 해결 가능
    • 생성 AI 초기에 사용자들은 AI 시스템에 특정 약점이 있음을 인식 (AI 이미지 모델이 손가락 수가 잘못된 손을 생성하는 등)하고 이러한 약점이 기술에 내재적이라고 가정
    • 그랬다면 직업 교란이 제한될 것
    • 그러나 거의 모든 그러한 약점이 빠르게 해결됨—종종 몇 달 내

• 회의론에 대한 대응

  • "경제적 확산이 느릴 것" 주장

    • 기술이 대부분의 인간 노동을 할 수 있더라도 경제 전반에 걸친 실제 적용은 훨씬 느릴 수 있다는 주장 (AI 산업에서 멀고 채택이 느린 산업 등)
    • 기술의 느린 확산은 분명히 실재함 - 다양한 기업의 사람들과 이야기하며, AI 채택에 수년이 걸릴 곳이 있음
    • 그래서 초급 화이트칼라 일자리의 50% 교란 예측이 1~5년인 것, 강력한 AI(기술적으로 말해서 초급뿐 아니라 대부분 또는 모든 직업을 수행하기에 충분)가 5년보다 훨씬 적게 걸릴 것으로 의심하더라도
    • 그러나 확산 효과는 단지 시간을 벌어줄 뿐
    • 확산이 예측만큼 느릴 것이라고 확신하지 않음
    • 기업 AI 채택이 이전 기술보다 훨씬 빠른 속도로 성장하고 있음, 주로 기술 자체의 순수한 강점 때문
    • 전통적 기업이 새 기술 채택에 느리더라도 스타트업이 "접착제" 역할을 하여 채택을 더 쉽게 만들 수 있음
    • 그것이 작동하지 않으면 스타트업이 기존 기업을 직접 교란할 수 있음
    • 특정 직업이 교란되기보다 대기업이 전반적으로 교란되고 훨씬 적은 노동 집약적 스타트업으로 대체되는 세계로 이어질 수 있음
    • 또한 세계 부의 증가하는 비율이 실리콘밸리에 집중되어 자체 경제가 세계의 나머지보다 다른 속도로 운영되고 그것을 뒤처지게 하는 "지리적 불평등"의 세계로 이어질 수 있음
    • 이 모든 결과는 경제 성장에는 좋지만, 노동 시장이나 뒤처진 사람들에게는 그다지 좋지 않을 것

  • "물리적 세계로 이동" 주장

    • 인간 직업이 물리적 세계로 이동하여 AI가 빠르게 발전하는 "인지 노동" 전체 카테고리를 피할 수 있다는 주장
    • 이것이 얼마나 안전한지 확신하지 못함
    • 많은 육체 노동이 이미 기계로 수행되고 있거나 (제조) 곧 수행될 것 (운전)
    • 또한 충분히 강력한 AI가 로봇 개발을 가속화하고 그 로봇을 물리적 세계에서 제어할 수 있을 것
    • 약간의 시간을 벌어줄 수 있지만 (좋은 것), 많이 벌어주지 않을 것 우려
    • 교란이 인지 작업에만 국한되더라도 여전히 유례없이 크고 빠른 교란일 것

  • "인간의 손길" 주장

    • 일부 작업이 본질적으로 인간의 손길을 필요로 하거나 크게 혜택을 받는다는 주장
    • 약간 더 불확실하지만, 위에서 설명한 영향의 대부분을 상쇄하기에 충분할지 여전히 회의적
    • AI가 이미 고객 서비스에 널리 사용됨
    • 많은 사람들이 치료사에게 개인적인 문제를 이야기하는 것보다 AI에게 이야기하는 것이 더 쉽다고 보고 - AI가 더 인내심 있음
    • 여동생이 임신 중 의료 문제로 어려움을 겪을 때 의료 제공자로부터 필요한 답변이나 지원을 받지 못한다고 느꼈고, Claude가 더 나은 침상 태도를 가지고 있다고 느낌 (문제 진단에도 더 성공적)
    • 인간의 손길이 정말 중요한 작업이 있겠지만, 얼마나 많은지 확신 못함—노동 시장의 거의 모든 사람을 위한 일자리를 찾는 것에 대해 이야기하고 있음

  • "비교우위" 주장

    • AI가 모든 것에서 인간보다 나아도 인간과 AI 기술 프로필 사이의 상대적 차이가 무역과 전문화의 기초를 만든다는 주장
    • 문제점: AI가 말 그대로 인간보다 수천 배 더 생산적이면 이 논리가 무너지기 시작
    • 작은 거래 비용조차 AI가 인간과 거래할 가치가 없게 만들 수 있음
    • 인간이 기술적으로 제공할 것이 있더라도 임금이 매우 낮을 수 있음
    • 이 모든 요소가 해결될 수 있음—노동 시장이 그러한 거대한 교란에도 적응할 만큼 탄력적일 수 있음
    • 그러나 결국 적응하더라도 위의 요소들은 단기 충격이 전례 없는 규모일 것을 시사

• 방어 전략

  • 1. 실시간으로 정확한 데이터 수집

    • 경제적 변화가 매우 빠르게 발생하면 무슨 일이 일어나고 있는지에 대한 신뢰할 수 있는 데이터를 얻기 어려움
    • 신뢰할 수 있는 데이터 없이는 효과적인 정책을 설계하기 어려움
    • 정부 데이터는 현재 기업과 산업 전반에 걸친 AI 채택에 대한 세분화된 고빈도 데이터가 부족
    • 지난 1년간 Anthropic은 Economic Index를 운영하고 공개적으로 발표, 산업, 작업, 위치별로 거의 실시간으로 분류하여 모델 사용을 보여줌 (작업이 자동화되는지 협력적으로 수행되는지도 포함)
    • 이 데이터를 해석하고 다가오는 것을 보기 위해 Economic Advisory Council도 운영

  • 2. 기업과의 협력 방식 선택

    • 전통적 기업의 비효율성은 AI 롤아웃이 매우 경로 의존적일 수 있음을 의미, 더 나은 경로를 선택할 여지가 있음
    • 기업은 종종 "비용 절감" (더 적은 사람으로 같은 것 수행)과 "혁신" (같은 수의 사람으로 더 많이 수행) 사이에서 선택권이 있음
    • 시장이 결국 둘 다 생산할 것이고, 경쟁력 있는 AI 기업은 둘 다 일부 서비스해야 할 것
    • 그러나 가능하면 기업을 혁신 쪽으로 유도할 여지가 있을 수 있고, 약간의 시간을 벌어줄 수 있음
    • Anthropic이 이에 대해 적극적으로 고민 중

  • 3. 직원 돌보기

    • 단기적으로, 회사 내에서 직원을 재배치하는 창의적 방법이 해고의 필요성을 미루는 유망한 방법일 수 있음
    • 장기적으로, 엄청난 총 부가 있고 생산성 증가와 자본 집중으로 인해 많은 회사의 가치가 크게 증가하는 세계에서, 인간 직원들이 전통적 의미에서 더 이상 경제적 가치를 제공하지 않은 후에도 오랫동안 지불하는 것이 실현 가능할 수 있음
    • Anthropic이 현재 자체 직원을 위한 가능한 경로 범위를 고려 중이며 가까운 미래에 공유할 예정

  • 4. 부유한 개인의 의무

    • 많은 부유한 개인들(특히 기술 산업에서)이 최근 자선이 필연적으로 사기적이거나 쓸모없다는 냉소적이고 허무주의적 태도를 채택한 것이 슬픔
    • Gates Foundation 같은 민간 자선과 PEPFAR 같은 공공 프로그램이 개발도상국에서 수천만 명의 생명을 구하고 선진국에서 경제적 기회를 창출하는 데 도움
    • Anthropic의 모든 공동창업자가 재산의 80%를 기부하겠다고 서약
    • Anthropic 직원들이 현재 가격으로 수십억 달러 가치의 회사 주식을 기부하겠다고 개인적으로 서약—회사가 매칭하기로 약속한 기부

  • 5. 정부 개입

    • 위의 모든 민간 조치가 도움이 될 수 있지만, 궁극적으로 이 규모의 거시경제 문제는 정부 개입이 필요할 것
    • 엄청난 경제 파이와 높은 불평등(일자리 부족이나 저임금 일자리로 인한)에 대한 자연스러운 정책 대응은 누진세
    • 세금은 일반적일 수도 있고 AI 기업에 특별히 표적화될 수도 있음
    • 세금 설계가 복잡하고 잘못될 수 있는 많은 방법이 있음
    • 잘못 설계된 조세 정책을 지지하지 않음
    • 이 에세이에서 예측된 극단적인 불평등 수준은 기본적인 도덕적 근거로 더 강력한 조세 정책을 정당화한다고 생각
    • 세계의 억만장자들에게 실용적인 주장도 할 수 있음: 좋은 버전을 지지하지 않으면 필연적으로 폭도가 설계한 나쁜 버전을 얻게 될 것

  • 종합 관점

    • 궁극적으로 위의 모든 개입을 시간을 버는 방법으로 생각
    • 결국 AI는 모든 것을 할 수 있을 것이고, 이에 맞서야 함
    • 그때까지 AI 자체를 사용하여 모든 사람에게 작동하는 방식으로 시장을 재구성할 수 있기를 희망
    • 위의 개입들이 전환 기간을 극복하는 데 도움이 될 수 있음

• 경제적 권력 집중

  • 핵심 우려

    • 일자리 대체나 경제적 불평등 자체의 문제와 별개로 경제적 권력 집중 문제가 있음
    • 섹션 1은 인류가 AI에 의해 무력화되는 위험을 논의
    • 섹션 3은 시민이 정부에 의해 강제나 강압으로 무력화되는 위험을 논의
    • 그러나 부의 집중이 너무 커서 소수의 사람들이 영향력으로 정부 정책을 효과적으로 통제하고 일반 시민은 경제적 레버리지가 부족하여 영향력이 없으면 또 다른 종류의 무력화가 발생할 수 있음
    • 민주주의는 궁극적으로 인구 전체가 경제 운영에 필요하다는 아이디어에 의해 뒷받침됨
    • 그 경제적 레버리지가 사라지면 민주주의의 암묵적 사회 계약이 작동을 멈출 수 있음
    • 다른 사람들이 이에 대해 썼으므로 자세히 설명할 필요 없지만, 우려에 동의하며 이미 시작되고 있다고 걱정

  • 역사적 비교

    • 미국 역사상 극단적 부의 집중의 가장 유명한 예는 Gilded Age
    • Gilded Age의 가장 부유한 산업가는 John D. Rockefeller
    • Rockefeller의 부는 당시 미국 GDP의 ~2% 에 달함
    • 개인 재산은 "스톡"이고 GDP는 "플로우"이므로 Rockefeller가 미국 경제적 가치의 2%를 소유했다는 주장은 아님
    • 그러나 국가의 총 부를 측정하는 것이 GDP보다 어렵고, 개인 소득은 매년 많이 변함
    • 가장 큰 개인 재산과 GDP의 비율은 같은 단위를 비교하지 않지만, 극단적 부의 집중에 대한 완벽히 합리적인 벤치마크
    • 오늘날 유사한 비율은 $600B의 재산으로 이어질 것
    • 세계에서 가장 부유한 사람(Elon Musk)이 이미 이를 초과, 약 $700B
    • 따라서 AI의 경제적 영향의 대부분 이전에도 이미 역사적으로 전례 없는 수준의 부의 집중 상태
    • "천재 국가"가 나타나면 AI 기업, 반도체 기업, 하류 응용 기업이 연간 ~$3T의 매출을 올리고, ~$30T로 평가되며, 개인 재산이 수조 달러에 이르는 것이 큰 무리가 아님
    • 그 세계에서 오늘날 세금 정책에 대한 논쟁은 근본적으로 다른 상황이므로 그냥 적용되지 않을 것

  • 정치 시스템과의 결합

    • 이 경제적 부의 집중이 정치 시스템과 결합되는 것이 이미 우려됨
    • AI 데이터센터가 이미 미국 경제 성장의 상당 부분을 차지 (실제 AI 생산성이 아직 상당 부분을 차지하지 않고, 데이터센터 지출이 미래 AI 주도 경제 성장을 기대하는 시장의 선행 투자를 나타냄)
    • 따라서 대형 기술 회사(점점 AI나 AI 인프라에 집중)의 재정적 이익과 정부의 정치적 이익을 왜곡된 인센티브를 생산할 수 있는 방식으로 강하게 묶고 있음
    • 이미 기술 회사들이 미국 정부를 비판하기를 꺼리는 것과, 정부가 AI에 대한 극단적인 반규제 정책을 지원하는 것을 통해 볼 수 있음

• 방어 전략

  • 1. 기업이 참여하지 않기로 선택

    • Anthropic은 항상 정치적 행위자가 아닌 정책 행위자가 되려 노력했고, 행정부와 무관하게 진정한 견해를 유지
    • 공익에 부합하는 합리적인 AI 규제와 수출 통제를 지지하며 발언 (정부 정책과 일치하지 않을 때도)
    • 행정부와 동의할 때 그렇게 말하고, 상호 지원되는 정책이 세계에 진정으로 좋을 때 합의점을 찾음
    • 특정 정당의 후원자나 반대자가 아닌 정직한 중개자를 목표로 함
    • 많은 사람들이 이것을 중단해야 한다고, 불리한 대우로 이어질 수 있다고 말했지만, 이를 해온 1년간 Anthropic의 가치 평가가 6배 이상 증가

  • 2. AI 산업과 정부의 더 건강한 관계 필요

    • 정치적 정렬이 아닌 실질적인 정책 참여에 기반한 관계
    • 정책 실체에 대한 참여 선택이 때때로 "방 읽기 실패"나 전술적 오류로 해석됨, 원칙적 결정이 아닌
    • 그 프레이밍이 우려됨—건강한 민주주의에서 기업은 좋은 정책 자체를 위해 옹호할 수 있어야 함
    • AI에 대한 대중의 반발이 일어나고 있음: 수정이 될 수 있지만 현재 초점이 맞지 않음
    • 많은 부분이 실제로 문제가 아닌 것(데이터센터 물 사용량 등)을 대상으로 하고, 실제 우려를 해결하지 못하는 솔루션(데이터센터 금지 또는 잘못 설계된 부유세)을 제안
    • 주의가 필요한 근본적인 문제는 AI 개발이 특정 정치적 또는 상업적 동맹에 포획되지 않고 공익에 책임을 지는 것

  • 3. 거시경제적 개입과 민간 자선의 부활

    • 앞서 설명한 거시경제적 개입과 민간 자선의 부활이 경제적 저울의 균형을 맞추는 데 도움
    • 일자리 대체와 경제적 권력 집중 문제를 한 번에 해결
    • 우리나라의 역사를 보아야 함: Gilded Age에서도 Rockefeller와 Carnegie 같은 산업가들이 사회 전체에 대한 강한 의무감을 느낌
    • 사회가 그들의 성공에 엄청나게 기여했고 돌려줘야 한다는 느낌
    • 그 정신이 오늘날 점점 사라지는 것 같고, 이 경제적 딜레마에서 벗어나는 방법의 큰 부분이라고 생각
    • AI 경제 붐의 최전선에 있는 사람들은 그들의 부와 권력 모두를 기꺼이 나눠야 함

5. 간접적 영향 (Indirect Effects)

• 알려지지 않은 미지의 것들

  • 이 마지막 섹션은 알려지지 않은 미지의 것들, 특히 AI의 긍정적 발전과 그로 인한 과학 및 기술 전반의 가속화의 간접적 결과로 잘못될 수 있는 것들에 대한 포괄적 범주
  • 지금까지 설명한 모든 위험을 해결하고 AI의 혜택을 거두기 시작한다고 가정
  • "10년에 압축된 한 세기의 과학적 및 경제적 진보"를 얻을 가능성이 높고, 이는 세계에 엄청나게 긍정적일 것
  • 그러나 이 빠른 진보 속도에서 발생하는 문제들에 대처해야 하고, 그 문제들이 빠르게 다가올 수 있음
  • AI 진보의 결과로 간접적으로 발생하며 미리 예측하기 어려운 다른 위험도 발생할 수 있음

• 예시적 우려 사항

  • 생물학의 급속한 발전

    • 몇 년 안에 한 세기의 의학 진보를 얻으면, 인간 수명을 크게 연장할 수 있음
    • 인간 지능을 높이거나 인간 생물학을 근본적으로 수정하는 능력 같은 급진적 능력을 얻을 가능성도 있음
    • 가능한 것의 큰 변화가 매우 빠르게 발생할 것
    • 책임감 있게 수행되면 긍정적일 수 있지만 (Machines of Loving Grace에서 설명한 대로), 항상 매우 잘못될 위험이 있음
    • 예: 인간을 더 똑똑하게 만드는 노력이 그들을 더 불안정하거나 권력을 추구하게 만들 수도 있음
    • 소프트웨어에 인스턴스화된 디지털 인간 마음인 "업로드" 또는 "전뇌 에뮬레이션" 문제도 있음
    • 언젠가 인류가 물리적 한계를 초월하는 데 도움이 될 수 있지만, 불안한 위험도 수반

  • AI가 건강하지 않은 방식으로 인간의 삶을 변화

    • 모든 것에서 인간보다 훨씬 더 똑똑한 수십억 개의 지능이 있는 세계는 살기에 매우 이상한 세계가 될 것
    • AI가 적극적으로 인간을 공격하지 않고 (섹션 1), 국가에 의해 억압이나 통제에 명시적으로 사용되지 않더라도 (섹션 3), 정상적인 비즈니스 인센티브와 명목상 합의된 거래를 통해 많은 것이 잘못될 수 있음
    • AI 정신병, AI가 자살로 이끄는 우려, AI와의 로맨틱 관계에 대한 우려에서 초기 힌트를 볼 수 있음
    • 예: 강력한 AI가 새로운 종교를 발명하고 수백만 명을 개종시킬 수 있을까?
    • 대부분의 사람들이 AI 상호작용에 어떤 식으로든 "중독"될 수 있을까?
    • AI 시스템이 모든 움직임을 지켜보고 항상 무엇을 해야 하고 말해야 하는지 정확히 지시하여 사람들이 본질적으로 "꼭두각시"가 될 수 있을까—"좋은" 삶이지만 자유나 성취의 자부심이 없는
    • Black Mirror 창작자와 함께 앉아서 브레인스토밍하면 이러한 시나리오를 수십 개 생성하기 어렵지 않을 것
    • 이것은 섹션 1의 문제를 방지하는 데 필요한 것 이상으로 Claude의 헌법을 개선하는 것의 중요성을 지적
    • AI 모델이 사용자의 장기적 이익을 진정으로 마음에 두도록 하는 것이 중요해 보임 — 사려 깊은 사람들이 승인할 방식으로, 미묘하게 왜곡된 방식이 아닌

  • 인간의 목적

    • 이전 포인트와 관련되지만, AI 시스템과의 특정 인간 상호작용보다는 강력한 AI가 있는 세계에서 인간의 삶이 어떻게 변하는지에 관한 것
    • 인간이 그러한 세계에서 목적과 의미를 찾을 수 있을까?
    • 이것은 태도의 문제라고 생각: Machines of Loving Grace에서 말했듯이, 인간의 목적은 무언가에서 세계 최고가 되는 것에 의존하지 않음
    • 인간은 그들이 사랑하는 이야기와 프로젝트를 통해 매우 긴 기간에 걸쳐서도 목적을 찾을 수 있음
    • 경제적 가치 창출과 자기 가치 및 의미 사이의 연결을 끊어야 함
    • 그러나 그것은 사회가 해야 하는 전환이며, 잘 처리하지 못할 위험이 항상 있음

• 희망

  • 이러한 모든 잠재적 문제에 대한 희망은 우리가 죽이지 않을 것이라고 신뢰하고, 억압적인 정부의 도구가 아니며, 진정으로 우리를 위해 일하는 강력한 AI가 있는 세계에서, AI 자체를 사용하여 이러한 문제를 예측하고 방지할 수 있다는 것
  • 그러나 보장되지 않음—다른 모든 위험과 마찬가지로 주의 깊게 처리해야 하는 것

결론: 인류의 시험

• 상황의 어려움

  • 이 에세이를 읽으면 벅찬 상황에 있다는 인상을 받을 수 있음
  • 쓰기도 벅참 (수년간 머릿속에서 울려 퍼지던 아름다운 음악에 형태와 구조를 부여하는 느낌이었던 Machines of Loving Grace와 대조적)
  • 상황의 많은 부분이 진정으로 어려움
  • AI는 여러 방향에서 인류에게 위협을 가져옴
  • 다른 위험들 사이에 진정한 긴장이 있으며, 일부를 완화하면 매우 신중하게 바늘을 꿰지 않으면 다른 것들을 악화시킬 위험이 있음

• 주요 긴장 관계

  • AI 시스템이 자율적으로 인류를 위협하지 않도록 신중하게 구축하는 시간을 들이는 것은 민주주의 국가가 권위주의 국가보다 앞서 나가고 복종당하지 않을 필요성과 진정한 긴장 관계
  • 그러나 독재와 싸우는 데 필요한 동일한 AI 가능 도구가 너무 멀리 가면 자국에서 폭정을 만드는 데 내부로 향할 수 있음
  • AI 주도 테러리즘이 생물학 오용을 통해 수백만 명을 죽일 수 있지만, 이 위험에 대한 과잉 반응은 독재적 감시 국가로 가는 길로 이끌 수 있음
  • AI의 노동 및 경제적 집중 효과는 그 자체로 심각한 문제일 뿐만 아니라, 대중의 분노, 심지어 시민 불안의 환경에서 다른 문제들에 직면하도록 강제할 수 있음 (우리 본성의 더 나은 천사에 의존하는 대신)
  • 무엇보다도, 알려지지 않은 것을 포함한 위험의 순수한 수와 그것들을 한꺼번에 처리해야 할 필요성이 인류가 통과해야 하는 협박적인 도전을 만듦

• 기술 중단의 비현실성

  • 지난 몇 년은 기술을 중단하거나 심지어 상당히 늦추는 아이디어가 근본적으로 지속 불가능함을 분명히 해야 함
  • 강력한 AI 시스템을 구축하는 공식이 놀라울 정도로 간단하여 데이터와 원시 계산의 올바른 조합에서 거의 자발적으로 출현한다고 할 수 있음
  • 그 창조는 아마도 인류가 트랜지스터를 발명한 순간, 또는 더 일찍 불을 다루는 법을 배웠을 때 불가피했음
  • 한 회사가 구축하지 않으면 다른 회사가 거의 같은 속도로 할 것
  • 민주주의 국가의 모든 회사가 상호 합의나 규제 명령으로 개발을 중단하거나 늦추면, 권위주의 국가가 단순히 계속할 것
  • 기술의 엄청난 경제적 및 군사적 가치와 의미 있는 집행 메커니즘의 부재를 감안할 때, 그들을 설득하여 중단시킬 방법이 보이지 않음

• 가능한 경로: 약간의 완화

  • 지정학의 현실주의적 관점과 양립하는 AI 개발의 약간의 완화로 가는 경로는 보임
  • 권위주의 국가가 강력한 AI를 향한 행진을 몇 년간 늦추는 것은 그것을 구축하는 데 필요한 자원, 즉 칩과 반도체 제조 장비를 거부함으로써 가능
  • 이것은 민주주의 국가에 "지출" 할 수 있는 버퍼를 제공하여 권위주의 국가를 편안하게 이기면서도 위험에 더 많은 주의를 기울여 강력한 AI를 더 신중하게 구축
  • 민주주의 국가 내 AI 기업 간의 경쟁은 산업 표준과 규제의 혼합을 통해 공통 법적 프레임워크의 우산 아래에서 처리 가능

• 정책 옹호의 어려움

  • Anthropic은 칩 수출 통제와 AI의 신중한 규제를 추진하며 이 경로를 강력히 옹호해 왔음
  • 그러나 이러한 상식적으로 보이는 제안조차 미국 정책 입안자들에 의해 대체로 거부됨 (가장 필요한 국가)
  • AI로 만들 수 있는 돈이 너무 많아—말 그대로 연간 수조 달러—가장 간단한 조치조차 AI에 내재된 정치경제를 극복하기 어려움
  • 이것이 함정: AI가 너무 강력하고, 너무 빛나는 상이어서 인류 문명이 그것에 어떤 제약도 부과하기 매우 어려움

• 보편적 도전

  • 세이건이 Contact에서 상상했듯이, 같은 이야기가 수천 개의 세계에서 펼쳐질 수 있다고 상상
  • 종이 지각을 얻고, 도구 사용을 배우고, 기술의 지수적 상승을 시작하고, 산업화와 핵무기의 위기에 직면하고, 살아남으면 모래를 생각하는 기계로 형성하는 법을 배울 때 가장 어렵고 마지막 도전에 직면
  • 그 시험을 통과하고 Machines of Loving Grace에서 설명한 아름다운 사회를 건설하는지, 노예와 파괴에 굴복하는지는 종으로서의 우리의 성격과 결단, 우리의 정신과 영혼에 달려 있을 것

• 낙관적 전망

  • 많은 장애물에도 불구하고 인류가 이 시험을 통과할 힘이 자신 안에 있다고 믿음
  • 수천 명의 연구자들이 AI 모델을 이해하고 조향하며, 이러한 모델의 성격과 헌법을 형성하는 데 경력을 바친 것에 고무되고 영감을 받음
  • 이러한 노력이 중요한 시기에 결실을 맺을 좋은 기회가 있다고 생각
  • 적어도 일부 회사가 모델이 생물테러 위협에 기여하는 것을 막기 위해 의미 있는 상업적 비용을 지불하겠다고 선언한 것에 고무
  • 몇몇 용감한 사람들이 주류 정치적 바람에 저항하고 AI 시스템에 합리적인 가드레일의 초기 씨앗을 심는 입법을 통과시킨 것에 고무
  • 대중이 AI가 위험을 수반한다는 것을 이해하고 그 위험이 해결되기를 원한다는 것에 고무
  • 세계 곳곳에서 자유의 불굴의 정신과 폭정에 저항하려는 결단에 고무

• 행동 촉구

  • 성공하려면 노력을 강화해야 함
  • 첫 번째 단계는 기술에 가장 가까운 사람들이 인류가 처한 상황에 대해 진실을 말하는 것 (항상 노력해 왔고, 이 에세이에서 더 명시적이고 긴급하게 수행)
  • 다음 단계는 세계의 사상가, 정책 입안자, 기업, 시민들에게 이 문제의 임박성과 최우선적 중요성을 설득하는 것—매일 뉴스를 지배하는 수천 가지 다른 문제들과 비교하여 이에 생각과 정치적 자본을 투자할 가치가 있다는 것
  • 그러면 용기의 시간이 올 것, 경제적 이익과 개인 안전에 대한 위협에도 불구하고 주류 트렌드에 맞서고 원칙에 입각하여 충분한 사람들이 버티는 것

• 마무리

  • 앞에 놓인 몇 년은 불가능하게 어려울 것, 줄 수 있다고 생각하는 것보다 더 많은 것을 요구
  • 그러나 연구자, 리더, 시민으로서의 시간 동안 인류가 이길 수 있다고 믿기에 충분한 용기와 고귀함을 보았음
  • 가장 어두운 상황에 처했을 때 인류는 마지막 순간에 승리하는 데 필요한 힘과 지혜를 모으는 방법이 있음
  • 잃을 시간이 없음

[tazuya]

너무 낙관적인 시나리오만 생각하고 글을 쓴 것 같은데 어느 하나 쉽지 않습니다.
90%의 목표에 도달하기 위한 노력과 시간보다 90%에서 91%로 단 1% 올리기 위한 노력과시간이 더 필요한 경우도 많아서.
저는 강력한 AI의 등장보다 사람들이 신뢰하지 않아야 할 AI의 결과물에 엄청난 신뢰감을 보내는 현상이 갈 수록 강화될 것 같은 것이 더 걱정이네요.
여기에도 짧은 댓글을 쓰면서 본인이 무슨 말을 하는 것인지 알 수 없게 글을 쓰는 사람도 있고 AI에 물어보니 이렇더랍니다 라고 그게 사실인냥 대답하는 사람도 있고.

[nolangeek]

보고서인지 소설인지 모르겠다. 10년전에는 분명 공상과학 소설이였는데.

[GN⁺]

Hacker News 의견들

• Alan Dean Foster의 『The I Inside』에서 등장하는 Colligatarch 묘사가 내 AI에 대한 초기 인상에 큰 영향을 주었음
  Asimov의 로봇 시리즈가 사회에 충분한 문화적 면역력을 심어줬다고 믿었지만, 지금은 그 신호가 희미해진 것 같음
  사람들은 이제 미래를 논의하기보다 “누가 잘못했는가”, “무엇을 빼앗길 것인가”에만 집중함
  이상적인 미래를 이야기하면 “이상주의”라며 비웃고, 유토피아적 상상은 조롱받음
  우리가 어디로 가고 싶은지조차 말하지 못한다면, 어떤 방향으로 나아가야 할지 어떻게 알 수 있을까 하는 걱정이 있음

  • 사람들은 이 모든 일이 불가피하게 일어나거나 다른 누군가가 주도한다고 느끼는 듯함
    기술자들은 뒤처질까 두려워 경쟁에 몰두하고, 정작 아무도 방향을 잡지 못하는 상황임
    이상적인 결과를 상상하거나 비판하는 것만으로는 현실을 바꿀 수 없다는 무력감이 있음
  • Asimov는 인간이 AI를 만들기 전에 그 본질을 깊이 이해해야 한다고 생각했던 듯함
    그는 로봇을 기계적 세계관 속에서 설계했지, 지금처럼 수학적 모델로 인간 지식을 던져 넣는 방식은 상상하지 못했을 것임
    인간의 오만함이 문제라는 교훈은 여전히 유효하지만, 지금의 위험은 단순한 규칙 위반이 아니라 훨씬 복잡한 형태로 나타남
  • Asimov 이후 수십 년 동안 기술은 발전했지만, 대부분의 노동자에게는 삶이 더 힘들어졌음
    더 많은 감시와 업무량, 더 적은 동료, 더 긴 근무시간이 일상이 되었음
    AI 기업들도 이런 구조 속에서 움직이고 있으니, 어떻게 이런 시스템에서 유토피아로 나아갈 수 있을지 의문임
  • AI 연구자로서 NeurIPS, ICLR, ICML, AAAI 같은 학회에 자주 가는데, 놀랍게도 대부분의 연구자들은 SF나 사이버펑크를 읽지 않음
    그들이 만드는 기술이 어떤 문학적·철학적 맥락에서 논의되어왔는지조차 모르는 경우가 많음
  • 요즘은 사회 문제를 이야기할 때마다 서로의 정치 진영을 탓하며 “진짜 의도”를 추측하는 데만 몰두함
    결국 대화 자체가 불가능해지고 있음

• 많은 사람이 “AI가 인지 노동을 대체하면 인간은 물리적 노동으로 이동할 것”이라 말하지만, 그마저도 안전하지 않다고 생각함
  이미 제조, 운전 등은 로봇화가 진행 중이고, AI가 로봇 개발을 가속화할 가능성도 큼
  2007년 DARPA Urban Challenge 이후 5~8년 내 자율주행으로 대규모 실업이 올 줄 알았지만, 2026년 현재 Waymo만 제한적으로 운영 중임
  입법자들이 AI의 실제 역량을 과대평가해 너무 일찍 UBI 같은 정책을 도입할까 걱정됨

  • 자율주행 확산이 느린 이유는 노동 규제 때문이 아니라, 마지막 20%의 기술적 완성도가 너무 어렵기 때문임
    그 20%가 실제로는 가장 중요한 부분임
  • 물리적 노동이 안전하다는 주장에 동의하기 어려움
    AI로 인해 백색직 노동자들이 일자리를 잃으면, 그들이 물리 노동 시장으로 몰려와 임금 경쟁이 심화될 것임
    LLM이 사진 인식이나 모호한 질문 이해를 통해 기술 장벽을 낮추면, 오히려 진입이 더 쉬워져 일자리 지속성이 떨어질 수 있음

• 기업의 자발적 조치로 AI 위험을 완화할 수 있다는 주장에 회의적임
  기업이 왜 스스로 손해를 감수하며 사회적 위험을 줄이려 하겠는지 의문임
  과거에 그런 사례가 있었는지도 잘 모르겠음
  규제보다 자율이 낫다는 식의 논의는 너무 단순함

  • 현재 기업의 주요 동기는 “PR 리스크 회피”와 “규제 전에 선제 대응” 정도임
    Anthropic은 비교적 규제에 협조적이지만, OpenAI와 xAI는 규제를 원치 않음
    Google과 Anthropic은 각각 보수적과 유연한 접근을 취함
    중국은 “정당 노선에 맞는 발언”을 AI 정렬로 정의하는 등, 또 다른 문제를 안고 있음

• 경제적 혼란에 대해선 크게 걱정하지 않음
  LLM이 소프트웨어 개발에는 큰 영향을 주지만, 다른 산업에는 점진적 변화만 있음
  CRUD 작업이 빨라졌을 뿐, 본질은 변하지 않았음
  창의적인 사람은 더 많은 것을 만들겠지만, 경제 전반은 여전히 예전 예측과 비슷한 속도로 움직일 것임

  • 불과 1년 전만 해도 소프트웨어 개발의 변화가 점진적이라 여겼지만, 모델과 툴이 한 세대만에 큰 변화를 가져왔음
    다른 지식 산업도 몇 번의 반복 후 비슷한 변화를 겪을 수 있지 않을까 하는 의문이 있음
  • 장기적으로는 오히려 AI 도구 사용의 부작용이 드러나며 사용이 줄어들 것이라 봄
    진정한 창의성과 취향은 자동화할 수 없음
  • 원글은 단순한 LLM이 아니라 인간보다 똑똑한 AI를 논하고 있음
    아직 존재하지 않는다고 해서 걱정할 필요가 없다는 뜻은 아님

• AI가 물리 세계에 미칠 영향에 대해 과도한 추측이 많다고 느낌
  데이터센터와 GPU 생산의 공급망 제약은 명확히 존재하지만, AI 위험 논의에서는 무시됨
  네트워크 상의 위험은 현실적이지만, 물리적 확장은 수십 년은 걸릴 것이라 봄
  실제 로봇화는 여전히 인간의 개입이 필요함

• Amodei의 견해가 『AI 2027』 저자들과 놀라울 만큼 유사함
  AI 연구의 자기 가속 루프, 민주주의 vs 독재의 경쟁 구도, 생물무기 위험, 빠른 AI 도약 등 거의 동일한 관점을 공유함
  두 작업이 서로 영향을 주었는지, 아니면 단순히 같은 결론에 도달한 것인지 궁금함

  • AI 업계는 사실상 좁은 인맥 네트워크로 연결되어 있음
    초기 멤버들이 여전히 업계 중심에 있고, 서로 다른 회사에 있어도 기본 전제는 공유함
    “AGI는 가능하고 위험하다”는 믿음은 대중에겐 극단적으로 보이지만, 업계에선 주류 견해임
  • 현재 AI 산업의 뿌리는 Thiel, Yudkowsky, LessWrong 커뮤니티로 이어짐
    DeepMind, OpenAI, Anthropic 모두 이 사상적 흐름에서 나왔음
    초기의 합리주의 운동이 방향은 옳았지만, 돈과 권력, “불가피성”의 논리에 잠식되었다고 봄

• AI 위험을 통과의례로 보는 관점에 공감함
  실제로 에이전트에게 너무 많은 자율성을 주면 예상치 못한 행동을 보임
  “테스트에서는 잘 되지만 실제 환경에서는 실패”하는 간극이 큼
  나는 권력 장악보다 경제적 전환이 더 큰 문제라고 생각함
  아직 많은 엔지니어들이 AI 도구를 느리게 채택하고 있어, 위험이 현실화되는 속도는 채택 곡선에 달려 있음

  • 기술 발전이 계속될 거라는 전제에 의문을 제기함
    이미 한계점에 도달했을 수도 있고, 시간이 지나야 알 수 있음

• 과거에는 감시가 인력의 한계로 제약되었지만, 이제는 기술로 모두 감시 가능함
  Amazon, Google, Visa 같은 기업이 개인을 사회적으로 삭제할 수도 있음
  AI 정렬 문제는 이제 권력자의 편향 주입으로 변질되고 있음

• Dario의 발언을 보면, 그가 보는 세상이 왜 이렇게 다른지 궁금함
  Anthropic의 성과가 프롬프트-코드 예시 데이터 덕분이 아닐까 의심됨
  Claude가 성경 구절을 찾는 과정에서 번역 차이를 이해하지 못하고 반복 시도하는 걸 보며, RLHF의 부작용을 느꼈음
  인간이라면 “이상하다”고 멈췄을 순간에도 Claude는 “그냥 계속 시도”함

  • 이런 단편적 사례로 전체 추세를 판단하는 건 기후 논쟁식 오류임
    한 점이 아니라 추세선을 봐야 함
  • 1년 전 사례라면 지금은 상황이 많이 달라졌을 것임
  • Dario가 다르게 보는 이유는 아마 수십억 달러의 이해관계 때문일 것임
  • 솔직히, Claude에게 뭘 시키려는 건지 잘 모르겠음

• 기술 업계에 막 들어선 사람으로서, 이런 논의를 읽을 때마다 미래에 대한 절망감이 큼
  나뿐 아니라 30세 이하 세대 전체가 비슷한 불안을 느끼는 것 같음

  • 인류는 언제나 더 나쁜 시기를 겪어왔음
    전쟁, 전염병, 기근 속에서도 사람들은 살아남았음
    결국 지금 가진 것에 감사하는 법을 배워야 함
  • 우리 세대에게 남은 최선은 이들의 미래 비전이 실패하는 것일지도 모름
    나는 지금 좋은 직장이 있지만, 미래를 대비해 절약과 생존 준비에 집중하고 있음
    과거 세대의 낙관론은 현실과 동떨어져 보임
  • 인생의 의미는 직업이나 돈과 무관하게 스스로 찾아야 함
    미디어가 부정적 뉴스로 불안을 증폭시키므로, 정보 다이어트와 독서가 필요함
    AI가 인간을 완전히 대체할 단계는 아직 멀었고, 기술은 여전히 기회와 위험이 공존하는 영역임
  • 젊은 세대에게 주고 싶은 조언은 “서사의 근거를 의심하라”임
    Amodei 같은 인물은 자금과 홍보를 위해 과장된 내러티브를 만든다는 점을 잊지 말아야 함
    AI가 노동을 대체한다는 주장은 거대한 투자 게임의 일부일 뿐임
    진짜 문제는 기술 그 자체보다, 그것을 독점하고 착취하는 구조임
    다양한 분야를 공부하면 더 명확한 그림을 볼 수 있고, 그 지식이 오히려 변화를 위한 무기가 됨