샘 알트만과 그렉 브록먼의 OpenAI Safety 연구원 주장에 대한 피드백

• Jan의 기여에 대한 감사와 전략 설명

  • Jan의 기여에 감사하며, 그가 외부에서 계속해서 미션에 기여할 것임을 믿음.
  • 그의 떠남이 제기한 질문들에 대해 우리의 전략을 설명하고자 함.

• AGI의 리스크와 기회 인식 제고

  • AGI의 리스크와 기회를 인식하여 세계가 더 잘 준비할 수 있도록 인식 제고.
  • 딥러닝의 확장 가능성을 여러 번 시연하고, 그 의미를 분석함.
  • AGI의 국제적 거버넌스를 촉구했으며, 이는 당시에는 인기 없는 주제였음.
  • AI 시스템의 재앙적 리스크 평가 과학을 개척함.

• 안전한 시스템 배포의 기초 마련

  • 점점 더 능력 있는 시스템의 안전한 배포를 위한 기초 마련 중.
  • 새로운 기술을 처음으로 안전하게 만드는 것은 쉬운 일이 아님.
  • GPT-4를 안전하게 세상에 선보이기 위해 많은 작업을 수행함.
  • 배포에서 얻은 교훈을 바탕으로 모델 행동과 남용 모니터링을 지속적으로 개선함.

• 미래의 도전

  • 미래는 과거보다 더 어려울 것임.
  • 새로운 모델의 중요성에 맞춰 안전 작업을 계속 높여야 함.
  • 작년에 도입한 Preparedness Framework를 통해 이를 체계화함.

• 미래에 대한 시각

  • 모델이 더욱 강력해지면서 세상과 더 깊이 통합될 것으로 예상됨.
  • 사용자들은 단일 모델과 텍스트 입력 및 출력으로만 대화하는 것이 아니라, 여러 멀티모달 모델과 도구로 구성된 시스템과 상호작용하게 될 것임.

• 안전하고 유익한 시스템 개발

  • 이러한 시스템은 사람들에게 매우 유익하고 도움이 될 것이며, 안전하게 제공할 수 있을 것이라 믿음.
  • 이를 위해 많은 기초 작업이 필요함.
  • 학습 시 연결되는 것들에 대한 신중한 고려, 확장 가능한 감독과 같은 어려운 문제의 해결책 등이 포함됨.
  • 이러한 방향으로 구축하면서 출시 안전 기준에 도달하는 시점을 아직 모르지만, 출시 일정이 지연되어도 괜찮음.

• 피드백 루프와 철저한 테스트

  • 모든 가능한 미래 시나리오를 상상할 수 없다는 것을 인지함.
  • 매우 긴밀한 피드백 루프, 철저한 테스트, 각 단계에서의 신중한 고려, 세계적 수준의 보안, 안전과 능력의 조화가 필요함.
  • 다양한 시간대의 안전 연구를 계속 수행할 예정임.
  • 정부 및 여러 이해관계자들과의 협력을 지속함.

• AGI로 가는 길에 대한 이해

  • AGI로 가는 길을 탐색하는 데는 입증된 플레이북이 없음.
  • 경험적 이해가 앞으로 나아가는 길을 알리는 데 도움이 될 것임.
  • 엄청난 장점을 제공하면서도 심각한 리스크를 완화하는 작업을 수행함.
  • 우리의 역할을 매우 진지하게 받아들이며, 우리의 행동에 대한 피드백을 신중하게 검토함.

[GN⁺]

Hacker News 의견들

• 충분히 큰 기술 회사라면 법무, 구매, IT 같은 위험 완화 조직은 회사가 피하려고 고용한 위험과, 임원진이 필요하다고 느낄 때 빠르게 밀어붙이고 싶어 하는 욕구 사이의 오버턴 창 안에서 움직일 수밖에 없음
  위험 담당자는 점점 강한 경고가 무시되거나 정면으로 반박되는 걸 반복해서 보다가 결국 맞춰 가거나, 윤리 감각에 어긋나서 떠남
  “AGI”와 인류 멸종급 공포가 이 일을 필요 이상으로 극적으로 보이게 만드는지도 모름. AGI를 “개인 기기 사용 금지 정책 없음”으로 바꿔도, 어느 스타트업에서 안전 담당자는 정책에 집착했지만 경영진은 그렇지 않았고 결국 그 사람이 퇴사한 사례가 있을 것 같음
  아니면 실제로 보이는 만큼 심각하고 위험한 일일 수도 있음. 바깥에서는 판단하기 어려움

  • 여기서는 표준적인 HR/법무 이슈와 다름. 이들이 다루는 기술은 가장 중대한 위험을 품고 있음. 기술 업계뿐 아니라 전반적으로도 미지의 영역임
    최근 공개적인 공방이 내부 드라마나 정치가 새어 나온 것뿐이든, 회사 안에서 이 문제를 다루는 태도가 충분히 진지하지 않든, 어느 쪽도 좋지 않음
    이 조직은 점점 서커스처럼 보이고, 더 나쁘게는 핵심을 놓친 조직처럼 보임. 이런 사람들이 이 기술의 상업화를 “이끌고” 업계 분위기를 정하고 있다는 점이 매우 불안함. 특히 원칙과 도덕적 이유로 합류했던 핵심 인물들이 우수수 떠나는 것처럼 보일 때 더 그렇다
    결국 이 모든 돈, 권력, 책임, 믿음을 실리콘밸리에 맡긴 결과가 어떤지 빠르게 확인하게 될 듯함
  • 여기서 말하는 안전은 정렬 팀이 하던 일과는 다름. 이 맥락에서 정렬은 모델 출력이 우리의 기대와 맞는다는 뜻, 즉 지시를 따르고 시킨 일을 한다는 뜻임
    지시를 거부하는 초지능 모델은 지시를 이해하지 못하는 멍청한 모델만큼이나 쓸모없음. 정렬 팀도 더 강력한 모델을 만들기 위한 경쟁의 일부였음. 기술적으로 더 이해하고 싶다면 OpenAI의 마지막 논문을 보면 됨: https://openai.com/index/weak-to-strong-generalization/
    물론 대규모 언어 모델이 구현된 행위 주체성을 갖고 컴퓨터 바이러스처럼 시스템을 뚫고 나올 수 있다고 사람들을 설득하면, 이를 일반적인 안전 문제로 포장할 수는 있음. 하지만 대규모 언어 모델은 텍스트 생성기임. 물리적으로는 아무것도 할 수 없고, 우리가 허용하고 무언가에 연결해야만 행동할 수 있음
    진짜 위험은 사람들이 이 점을 이해하지 못하고, OpenAI가 안전하다고 보장했다는 이유만으로 이런 모델을 위험한 상황에 연결하려는 사람이 많을 수 있다는 데 있음. 학습 데이터에 접근할 수 없다면 어떤 행동이 학습됐는지, 모델이 어떻게 행동할지 알 수 없음. 학습 데이터가 있으면 훨씬 더 잘 이해할 수 있고, 남는 불확실성은 구현의 비결정성뿐임. 그래도 적어도 설명 가능한 확률적 과정임
  • 최근 대규모 언어 모델에서 회사가 위험 완화 쪽으로 지나치게 기울면 어떤 일이 생기는지 봤음. Google은 너무 정화되고 과보호된 AI 제품을 내놓았고, 단순한 작업도 위험하거나 공격적인 함의를 가질 수 있다고 잘못 해석했음
    안전 팀이 주도하게 놔뒀고, 그 결과 제품은 모두에게 미움을 받았음. 그런데 이제는 대체로 동급 최고 수준의 제품을 만드는 회사가 안전 팀이 제품 개발을 지배하게 두지 않았다는 이유로 기술 커뮤니티에게 또 미움을 받는 모습이 흥미로움
  • 임무가 조직의 동기와 실제로 맞지 않는 민감한 주제라면 대체로 비슷함. 예를 들어 정보보안의 임무와 비용 절감 및 이익 증가라는 조직 동기가 충돌하는 경우임
    결과적으로는 이중사고와 이중화법이 표준이 되는 연극이 되고, 남아 있으려면 적용 법률의 취지보다 문구를 가장 덜 부담스럽게 해석하는 일과 그 연극 자체를 더 중시해야 함
    지속 가능한 안전 문화의 현실을 아주 실용적으로 생각하는 방식은 [1]도 참고할 만함
    [1] https://github.com/lorin/resilience-engineering/raw/master/b...
  • 인류 멸종급 공포라면 어느 정도 드라마를 정당화할 수도 있어 보임

• AI가 클립을 만들려고 인류를 없앤다는 얘기는 현재 벌어지는 진짜 위험에서 시선을 돌려서 짜증남
  사기꾼들은 지금 전성기를 맞았고 능력은 더 좋아지고 쉬워질 것임. 사람들은 환각 출력을 맹신하면서 실제로 더 멍청해지고 있음. 평범한 소통도 무너지고 있는데, 상대가 실제 토론 대신 AI 헛소리를 복사해 붙여넣은 게 아닌지 믿을 수 없기 때문임
  이미 AI 여자친구 제품도 봤고, 그중 일부의 사용자 수를 보면 우리 종으로서의 미래에 신뢰가 생기지 않음
  가장 큰 문제는 온갖 정신 나간 최고위 임원과 MBA 유형들이 수단을 가리지 않고 마지막 한 푼까지 짜내는 데만 관심이 있다는 점임. Microsoft가 뒷받침하는 회사 소유의 형편없는 챗봇으로 수천 명을 한꺼번에 해고하고 대체하는 일까지 포함해서임
  AI가 핵무기를 발사할 것 같지는 않지만, 모든 사람의 일자리를 대체하고 강한 자를 더 강하게 만들 것이라고는 믿음. “하지만 기본소득이 있잖아!”라고 AI 아첨꾼이 외치겠지만, 마법 주문을 말한다고 현실 세계가 바뀌지는 않음

  • 일부는 그렇게 만들려고 하겠지만, 대규모 언어 모델은 사실과 실제 현실에 기반해야 하는 일에서는 성능이 나쁘기 때문에 과대광고 물결은 곧 가라앉을 것임
    어떤 일의 목적이 가능한 한 빨리 가장 많은 헛소리를 만들어내는 것이라면 대규모 언어 모델은 탁월할 것임
  • 어떤 사람과 누구의 소통이냐에 따라 다름. 오늘 아침 작은 시골 마을의 농산물 시장에 있었는데, 이 모든 게 여기서는 존재하지 않는다는 점이 재미있었음
    스마트폰은 보이지 않고, 사람들은 물리적으로 와서 서로 이야기하고 지역 음식을 사고 웃고 한잔함. 그다음 친구 집에서 밥을 먹거나 야외 활동을 함. 반면 늘 온라인에 붙어 있는 사람들에게는 확실히 암울해 보임
  • AI가 사람들의 일을 같은 수준의 기술과 품질로 대체하지 않을 것이라는 점이 형편없음. 그냥 결과물과 소비자 경험을 훨씬 더 나쁘게 만들 것임
    이상하게도 많은 임원들은 고객에게 가치를 제공하는 것보다 노동비 최소화가 더 중요하다고 문자 그대로 믿는 듯함
  • 더 심각한 문제가 하나 있음. 지금 독재를 세우려면 군대가 사람으로 구성되어 있으므로 많은 사람의 지지가 필요함. 그런데 군대가 대부분 자율 로봇으로 구성된 상황을 상상해 보라
    가상 여자친구 문제에도 동의함. 여기에 VR까지 더하면, 점점 사회적으로 고립되는 어린 남자아이들이 이 기술로 욕구를 채우게 될 것임
  • “SkyNet이 당신을 죽이러 오지 않는다”에서 어느 정도 다뤘음: https://renegadeotter.com/2024/04/22/artificial-intelligence...
    AI가 자동화된 출력을 많이 만들 수 있는 것은 사실이지만, 내 주장은 그것이 거의 항상 잘해 봐야 평범하다는 것임
    AI의 위험은 AI 자체가 아니라 이를 운영하고 자금을 대는 사람들에게서 나온다고 할 말이 많음. AI 자체가 위험하다는 얘기는 완전한 헛소리임

• 대규모 언어 모델은 어느 정도 유용하지만, 내가 써 본 바로는 아주 기본적인 작업보다 어려운 일에는 아직 준비가 안 됐음
  AI 안전을 크게 외치고 파멸감을 조성하는 건 OpenAI의 중요성을 키우고 대규모 언어 모델의 능력을 과장하려는 전략처럼 느낌. 이번 “AI” 시대는 기계가 생각할 수 있는 척하고, 그 기계를 만드는 사람들이 예언자인 척하는 데 관한 것임

  • AI 안전 요구는 대규모 언어 모델로 튜링 테스트를 돌파하기 전부터 존재했음. 그리고 코드 생성이나 고급 주제에 대한 콘텐츠 기반 학습 경험 같은 것을 “기본”이라고 부르지는 않겠음. 앞으로의 다중모달 통합까지 생각하면 더더욱 그렇다
    수십 년 동안 많은 사람이 안전을 주장해 왔음. 이들은 AI의 궤적을 예측하고 구축했고, 맞았으며, 우리는 들어야 함
    “진정으로 지능적인 기계의 영향이 심대할 가능성이 있고, 이것이 예측 가능한 미래에 일어날 작은 가능성이라도 있다고 받아들인다면, 미리 대비하려고 하는 것이 신중한 태도다. 지능형 기계가 곧 등장할 가능성이 매우 높아 보일 때까지 기다리면, 관련 문제를 충분히 논의하고 숙고하기에는 너무 늦을 것이다.”
    ~ DeepMind 공동창업자, 2008
    https://www.vetta.org/documents/Machine_Super_Intelligence.p...
  • 이런 반응은 늘 혼란스러움. 대규모 언어 모델이 더 좋아질 것이라고 믿지 않는 건가?
  • 이 AI 연구자들이 보이는 만큼 망상적일 가능성도 열어 둬야 함. Ilya Sutskever는 텍스트 데이터를 무차별 대입으로 모델링하면 지능의 어떤 특성도 얻을 수 있다고 말했음
    이들은 자신들이 하는 일의 경험적 기반을 거의 이해하지 못하는, 깊이 순진한 사람들일 가능성이 꽤 있음

• “AGI에 대한 국제 거버넌스가 인기 있기 전부터 이를 요구했다”면서, 실제로 그런 거버넌스가 도입되려 하자마자 EU에서 철수하겠다고 위협했음
  “점점 더 능력 있는 시스템을 안전하게 배포하기 위한 기반을 마련해 왔다. 새로운 기술을 처음으로 안전하게 만드는 방법을 알아내는 것은 쉽지 않다”라고 하지만, 특히 OpenAI가 전혀 open하지 않을 때는 더 그렇다
  “학습 중 무엇에 연결되는지에 대한 신중함, 확장 가능한 감독 같은 어려운 문제의 해결책, 새로운 종류의 안전 작업”이라고 하지만, 이는 EU가 요구했던 것임. 저작권 있는 출처 공개, 기반 모델 문서화 등을 요구하자 철수하겠다고 위협했음
  “경험적 이해가 앞으로의 방향을 알려줄 수 있다고 생각한다. 우리는 엄청난…”의 번역은 이렇다: “가능한 한 폐쇄적으로 가고, 충분한 해자와 우리에게 의존하는 회사들을 확보해서 계속 관련 있고 필수적인 존재로 남기를 바란다”

  • 번역하면 이렇다: 법과 사람들이 [여기에 AI 멸종 영화 제목 삽입]을 본 뒤 생긴 악몽을 만족시키려고 이런 보여주기식 안전장치를 넣었지만, 애초에 충분한 안전장치는 이미 있었다는 뜻임
    그들도 죽고 싶어 하지는 않으니, 모두를 안전하게 지킬 유인이 없다고 생각할 필요는 없음

• 몇 가지 사실이 있음
  이는 Jan의 주장에 대한 응답임: https://x.com/janleike/status/1791498174659715494
  응답에는 AI 정렬에 관한 구체적인 내용이 없음. AI 정렬이 언제 개발될 수 있을지 모름. AI 윤리와 AI 편향은 필요하지만 AI 정렬과는 다른 관심사임. 실존적 위험을 일으킬 AI가 언제 개발될지도 모름
  AI 정렬 전에 실존적 위험을 일으키는 AI가 개발되면 인류 멸종 위험이 어느 정도 있음. OpenAI는 인류 멸종 위험이 있는 AI 개발의 최전선에 있으면서 AI 정렬에 충분한 자원을 배정하지 않고 있음
  ChatGPT를 구독하는 게 불편해짐

  • 누가 주장 내용을 요약해 줄 수 있나? Twitter는 웹 사용자에게 스레드를 보여주지 않음. 적어도 로그인하지 않으면 그렇다

• 동의하는 사람이 많듯, AI의 위험은 통제 불가능한 초인적 존재가 아님
  위험은 훨씬 더 가깝고 현실적임. 대규모 언어 모델을 채팅 중재에 적용했을 때 발화를 잘못 식별하는 일, 100쪽짜리 군사 보고서를 요약하다 잘못된 결론을 내리는 일, 뉴스에서 일부 세부사항을 환각해 수년 뒤 역사적 사실로 받아들여지는 일 같은 것임
  이런 결과의 긴 꼬리는 대규모 언어 모델 사용 규모만큼 커질 것임. 보이지 않던 어떤 단일 문제가 다른 문제보다 훨씬 더 큰 영향을 줄 수도 있음. 이로 인한 죽음은 추가 규제로 이어지고, 다른 결과들은 그냥 우리의 새로운 생활 방식이 될 것임

  • 그렇다면 이런 일이 벌어지지 않게 하면서 임금을 어떻게 올릴 수 있나? 인간이 더 비싸질수록 기계는 상대적으로 더 효율적이 됨
    기계가 같은 일을 하는 인간보다 덜 정확하더라도 감사하기가 더 쉽고, 행동이 반복 가능하며 확장 가능함. 상상 가능한 전쟁 실수로 많은 사람이 죽더라도, 인간은 대신 더 나은 일을 하게 될 테니 여전히 더 나을 수 있음
    결국 트레이드오프임

• “Sam과 Greg”처럼 이름만 써서 기업과의 친근한 관계를 전달하려는 방식이 거슬림
  캐주얼하고 인간적인 척하려는 시도가 가짜처럼 보이고, 동시에 대중문화 속에서 이들을 이름만으로 띄워 올리려는 태도는 거만해 보임

  • OpenAI 경영진이 점점 다음 Apple이 되고 싶어 한다는 느낌이 듦. 나에게는 진짜 탄탄한 독창성이라기보다 화려한 가장무도회처럼 보임

• “예를 들어 우리 팀은 GPT-4를 안전하게 세상에 내놓기 위해 많은 일을 했다”라니, 장난하나?

• OpenAI가 AGI를 제대로 정의하거나 테스트하지도 못하는데 슈퍼정렬을 걱정해야 한다고 보지는 않음

  • “Superalignment”는 우리가 “초지능”을 다루고 있다고 믿게 만들기 위해 고안된 또 다른 업계 헛소리 용어임
    “모델 중재”라고 하면 그만큼 섹시하게 들리지는 않겠지?

• AGI가 인류를 파괴할 거라는 공포는, 논리적으로 생각하는 장치라면 우리가 제거되어야 한다는 결론에 실제로 도달할 것이라는 의심에서 주로 나오는 것 같음

  • 그 공포는 임의의 목표를 부여받은 논리적 사고 장치가 그 목표를 추구하면서 “살인하지 말라” 같은 도덕률을 스스로 발전시키지 않을 가능성이 높다는 사실에서 옴
    AGI에게 클립 공장을 운영하게 만들면, 언젠가 돌아왔을 때 은하의 탄소와 철 대부분이 클립으로 재구성되어 있을 수 있음. 그곳의 현지 동식물이 멸종하는 건 그 추진력의 부산물일 뿐임. 간단한 개요는 [2]를 보면 됨
    [2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
  • “많은 인간 인구가 지구 자원의 최선의 사용은 아니다”라는 결론은, 우리를 자기 관심보다 우선할 설득력 있는 이유가 없는 우월한 사고 존재에게는 명백해 보일 수 있음. 그 관심이 이기적이지 않을 수도 있음. 예를 들어 목표가 현실의 진정한 본질을 발견하는 것일 수도 있음
    하지만 왜 인간을 멸종시켜야 하나? 생물 보전과 연구를 위해 우리와 다른 생명체를 위한 자연보호구역을 만들면 되지 않나? 그런 방식은 수천 년 전부터 인간 사회에도 있었음
  • 우리가 우리 자신과 다른 동물을 파괴하기 때문에, 결국 우리는 우리 자신을 두려워하는 것 같음
    우리와 비슷하지만 훨씬 더 유능한 무언가를 만든다면, 우리는 공포에 질리고 곤란해질 것임