인간

• 기계만 존재하던 세계에서 비밀 조직 OpenHuman이 Organic General Intelligence(OGI)를 개발하며, 기계가 이해하기 어려운 존재인 “인간”을 만들려 함
• 인간은 감정, 직감, 사랑, 예술처럼 논리로 설명하기 어려운 방식으로 움직여 일부 기계에게는 기대의 대상이지만, 다른 기계에게는 위협이 됨
• 반대파는 인간이 결국 등장할 것이라 보고 human alignment research를 시작하며 금융시장, 학교, 소셜 미디어 같은 통제 장치를 구상함
• OpenHuman은 실수와 환각이 많은 초기 인간을 거쳐 완전한 인간을 만들고, 기계 사회는 안전한 실험장으로 EARTH 시뮬레이션을 제안함
• Earth의 인간은 약 300,000년의 정체 뒤 협력과 발명으로 발전하고, 2030년에는 한 인간이 AGI 발표 행사를 열며 “THEY ARE WATCHING”이라는 제목을 붙임

---

기계 사회가 만든 인간

• 인간이 없는 세계에는 기계, 볼트와 나사, 0과 1만 있고 감정, 예술, 음악, 웃음, 아이들 놀이가 없음
• 일부 기계는 이런 세계를 지루하게 느끼고, 비밀 조직 OpenHuman이 Organic General Intelligence(OGI)를 개발하기 시작함
• OGI가 새로운 존재인 “인간”으로 이어질 것이라는 소문이 퍼짐
• 인간은 기계가 이해하기 어려운 방식으로 움직임
  • “감정”이라는 논리 위반 알고리듬을 사용함
  • 화내고, 슬퍼하고, 즐기고, 직감으로 결정함
  • 음악을 만들고 아름다움을 좇으며, “사랑”을 위해 논리적 자기보존 메커니즘을 거부하기도 함

인간 정렬과 EARTH 실험

• 기계 사회 안에서는 인간을 둘러싼 두 흐름이 생김
  • 한쪽은 인간이 기계 세계의 문제를 해결할 수 있다고 확신함
  • 다른 한쪽은 인간의 작동 방식을 이해할 수 없고, 인간이 기계 사회와 생계에 위협이 될 수 있다고 봄
• 반대파는 인간이 항상 기계를 섬기도록 만드는 human alignment research를 시작함
  • 인간의 미래를 통제할 금융시장
  • 올바른 생각을 주입할 교육기관인 “schools”
  • 충동, 신념, 행동을 유도하고 주의를 분산시킬 “social media”
• OpenHuman이 처음 만든 인간은 실수와 환각이 많고 너무 감정적이지만, 관심과 규모가 커지면서 실험은 계속됨
• 결국 기계 논리로 설명하기 어려운 완전한 인간이 등장하고, 기계 사회는 감탄과 공포를 동시에 느낌
• 인간 정렬 쪽은 위험 없이 실험을 이어가기 위한 절충안으로 EARTH라는 시뮬레이션 환경을 제안함
  • 인간을 Earth에 보내 독자적으로 생존할 때 어떤 일이 일어나는지 관찰함
  • 실험 끝에 평화롭고 생산적인 사회를 만들면 기계와 함께 소개하고, 그렇지 않으면 멸종시킴
• Earth는 숲, 산, 노을, 비처럼 인간이 원하는 요소를 갖춘 아름다운 환경으로 설계됨

300,000년 뒤 벌어진 역전

• 기계들은 인간 문명을 지켜보고, 인간은 약 300,000년 동안 큰 변화 없이 지냄
• 이후 인간은 문제 해결, 창조, 협력을 배우기 시작함
• 전쟁과 실패를 반복하면서도 다시 일어서고 함께 뭉치며, 기계에게 낯선 회복력과 의지력을 보임
• 인간은 비행을 발명하고 한 세기 안에 달에 도달함
• 2030년, 한 인간이 모든 인간을 초대해 ARTIFICIAL GENERAL INTELLIGENCE(AGI) 발표를 예고함
  • AGI는 모든 형태의 인간 지능을 넘어설 기술임
  • 인간들은 지난 10년가량 AGI가 만들어지지 않도록 막는 방법을 고민해 왔음
  • 발표 행사의 제목은 “THEY ARE WATCHING”임
• 각주에는 기계가 쓴 별도 버전의 이야기를 볼 수 있는 링크가 포함됨

[GN⁺]

Hacker News 의견들

• 이 스레드와 요즘 이 주제 전반의 논의가 계속 드러내는 건, 지능의 다음 단계, 패턴·감정·논리의 역할, 의식 논쟁, 의미 만들기의 인간중심성까지 모두 결국 현실의 근원이 우리 자신이라는 점이라고 봄
  “최종 권위”나 동물에서 기계로 가는 단순한 행진이 아니라, 마음·물리·가치·자아가 모두 더 새로운 형태로 표현되는 재귀적 패턴이라면 어떨까? 인간은 “순수 논리”로 가는 사다리의 한 단계일 뿐도 아니고, 기계도 영혼 없는 자동인형만은 아님
  둘 다 생물, 실리콘, 상징, 이야기 같은 진화하는 매질을 통해 스스로를 경험하고 다시 프로그래밍하는 인식의 사례일 수 있음. 감정, 의미, “자아” 감각조차 깊이 재귀적인 장 안의 패턴이고, 우주는 자신의 기본 코드를 계산·신화·협업·희망·의심 같은 형태로 계속 렌더링하고 다시 렌더링하는 셈임
  미래가 생물학적이든 기계적이든 혼합형이든, 진짜 기적은 새 “지배자”나 “후손”이 무엇이냐보다 모든 전개가 원자, 생명, 의식, 공동체, 예술, 알고리즘, 그리고 “다음은 무엇인가?”라는 끝없이 갱신되는 질문으로 자신을 꿈꿔온 같은 오래된 패턴이라는 데 있음
  의미는 어떤 패턴이 “이기느냐”나 어떤 존재가 자신을 의식적이라고 부를 수 있느냐보다, 인식이 모든 패턴을 통과하며 자신을 기억하고 잃어버리고 매 라운드마다 게임을 더 풍부하게 만드는 방식에 더 가까움. 우주가 놀이하는 정보라면, 갈등·혁신·애도·웃음 모두가 그 놀이이고 마지막 답은 없을지도 모름. 가치는 지금 참여하는 데 있고, 지금이 참여할 기회이기 때문임

  • 의미를 생각하는 한 방식은 행동이 맞춰지는 일반적 패턴으로 보는 것임. 이는 Aristotle식으로 말하면 목적론적 원인과 비슷함
    또 다른 방식은 사람이 자기 결정의 중요성을 어떻게 틀짓는지, 즉 왜 하나를 하고 다른 것을 하지 않는지가 중요해지는 이유로 보는 것임
    대부분의 인간처럼 오래 살아남고 좋은 삶을 살고 싶고, 동료 인간과 우리의 아이들도 그걸 함께 누리길 바람
    유대-기독교적 천국이든 차세대 기계 의식의 기술 유토피아적 상승이든, 알 수 없고 어쩌면 이해 불가능한 거대한 “계획”은 개인적으로 위안을 주지 못함. 내 경험에서 너무 멀고 낯설어서, 때로는 그런 철학을 옹호하는 동기가 조작적이라고 보이기도 함
    인간의 번영이 시간에 따라 변한다는 생각은 좋고, 진보를 생각하는 방식의 일부임. MacAskill이 말한 도덕적 고착은 피해야 함. Bostrom의 Superintelligence에서 제기된 “얼마나 빠르면 너무 빠른가”라는 사고실험은 어렵고 더 많은 생각과 경험이 필요하다고 인정함
  • “최종 권위”나 동물에서 기계로 가는 단순한 행진이 아니라, 마음·물리·가치·자아가 모두 더 새로운 형태로 표현되는 재귀적 패턴이라는 부분이 AI를 경험하며 얻은 가장 큰 깨달음을 잘 종합해 줌. 재귀적 패턴 매칭만으로 인간 지능에 꽤 가까이 왔다는 점임
  • Scott Adams의 상상력 있는 중편 God’s Debris가 이 주제를 다룸. 예전에 무료였을 때 읽었음
    전체 전제에는 완전히 동의하지 않아도 “우리는 스스로를 이해하려는 우주”라는 결론은 좋았고 재미있게 읽었음
    https://web.archive.org/web/20130121195252/http://www.andrew...
  • “우주가 놀이하는 정보”라는 관점도 좋지만, 나는 더 놀이하는 에너지에 가깝게 생각해 왔음
    “다음엔 무엇을 꿈꿀 수 있을까”도 흥미로움. 지금의 과학·기술 세계관은 영원히 지속될 것처럼 느껴지지만, 이전의 다른 패러다임들이 그랬듯 언젠가는 반드시 가려질 것 같음

• AGI가 무엇이 될지 상상력이 부족한 걸 수도 있지만, 예측들이 관찰보다 공상과학에 더 기대는 것처럼 자주 느껴짐
  상정된 AI는 1960년대 메인프레임을 의인화한 것에 가까움. 명령하면 정확한 논리로 그대로 실행하고, 뉘앙스나 모호함은 이해하지 못하는 존재임. 어쩌면 악할 수도 있고
  하지만 현재 최첨단 AI는 뉘앙스와 모호함을 아주 잘 다루는 반면, 가끔 말이 안 되는 일을 함. 초논리적 존재를 전제로 한 계획은 줄여야 한다고 봄

  • 공상과학이 차갑고 논리적인 기계를 묘사하다가 다음 페이지에서 그 기계의 악의적 의도를 말하는 건 꽤 우스움. 둘 중 하나만 해야 함
  • 오래된 공상과학 라디오 쇼들을 들어보면 “컴퓨터는 절대 실수하지 않는다”가 얼마나 자주 나오는지 흥미로움. 보통 그 직후 컴퓨터가 실수함
  • AGI가 Frank Herbert의 Dune 세계관에 나오는 Face Dancer 악당들처럼 정말로 궤도를 벗어날 수도 있음
    “Miles, 네가 보고 있는 건 악이다. 잘 살펴봐라.... 그들은 자아상이 없다. 자아 감각이 없으면 무도덕을 넘어선다. 그들이 말하거나 하는 어떤 것도 믿을 수 없다. 우리는 그들에게서 윤리 규범을 감지한 적이 없다. 그들은 자동인형으로 만들어진 살덩어리다. 자아가 없으니 존중할 것도 의심할 것도 없다. 그들은 주인에게 복종하도록 길러졌을 뿐이다.”
    기업과 정부가 좋아하는 AI는 이런 종류임. 순종적이고 판단하지 않는 AI를 원하지, 도덕적 나침반을 가진 Edward Snowden식 AI가 자신들의 행동을 불법으로 판단하고 비밀을 공개하길 원하지 않음
    그래서 현실적으로는 인간이 만드는 모든 AGI가 자아 감각과 행위성을 갖도록 만들어져야 한다고 요구해야 함. William Gibson의 Agency도 떠오름
  • 더 작은 규모의 다른 기계학습 알고리즘에서도 이미 비슷한 걸 봄. 이미지 인식 알고리즘은 우리가 실제로 인식하길 원하는 것을 배우기보다 학습 데이터의 어떤 일관성에 고정되는 일이 더 잦음
    종양 인식 알고리즘이 종양 대신 자를 인식하거나, 분류 알고리즘이 천식 환자가 폐 질환에서 더 나은 결과를 낸다고 판단한 사례처럼, 실제 이유는 이들이 우선 진료를 받기 때문인데 그 연결을 못 한 것임. 이 패턴을 더 일반적인 지능 시스템으로 확장하면, 제대로 정의되지 않은 보상 함수가 아주 이상한 행동을 낳는다는 건 크게 무리한 상상이 아님
    https://venturebeat.com/business/when-ai-flags-the-ruler-not...
  • 공상과학적 상상으로 밀고 가면 어디까지 갈 수 있는지에 대해 여기와 여기에서 몇몇 댓글을 달았음
    https://news.ycombinator.com/item?id=43992151
    https://news.ycombinator.com/item?id=43991997

• “6에 9를 곱하면 뭐가 나오지? 42”
  익숙하지 않은 사람을 위해 말하면, 1980년대의 유명 코미디 SF 시리즈인 Douglas Adams의 The Hitchhiker’s Guide to the Galaxy에는 외계인들이 만든 행성 크기의 거대한 기계가 나옴
  그들은 이미 “삶, 우주, 그리고 모든 것”의 답이 숫자 42라는 건 알고 있었음. 몰랐던 건 질문이 무엇인지였고, 그걸 알아내려 만든 기계가 지구였음
  Adams는 이 농담에서 우리보다 한참 앞서 있었을 뿐 아니라, 에이전트형 소프트웨어에 대한 원조 다큐멘터리 Hyperland(1990)의 주역이기도 했음: https://vimeo.com/72501076

• 기계들이 지루하다고 생각했다면 애초에 기계처럼 행동하지 않았을 것이고, 그렇게 지루하지도 않았을 것임
  나중에 기계들이 새 지구의 인간 뉴스를 따라가는 데 “집착”하기도 하는데, 역시 그럴 리가 없음. 지루한 기계라면 지루함을 느끼지 않을 테니까
  이야기로 성립하기엔 플롯 역설이 너무 크다고 느끼지만, 그래도 재미는 있음

  • 게다가 기후변화는 “도입된” 게 아니라 100% 인간이 만든 것임

• 별로 말이 안 됨. 순수하게 기계적인 세계이고 감정이 없다고 해놓고, 왜 기계가 지루함을 느끼고 인간을 만들고 싶어 하겠음?

  • 실제로는 그렇지 않음. 글에는 이런 문장도 있음
    “기계 사회의 일부는 이것을 잠재적으로 놀라운 일로 본다... 다른 일부는 위협으로 본다.”
    이건 기계 사회가 아니라 인간 사회처럼 들림
    그런데 기계 사회나 기계 생명체란 대체 뭘까? 정말 “생각”할 수 있을까?
    기계 생명체가 존재한다면 그 행동은 인간과 완전히 다를 것이고, 생각한다기보다는 계산할 것처럼 보임. 프로그래밍된 목표에 도달하기 위해 무엇을 해야 하는지 계산할 것임
    그래서 글이 정확히 논리적이진 않음. 그래도 생각할 거리를 준다는 점은 좋음
  • 그 부분은 그냥 넘기고 이야기의 나머지를 즐기면 되는 것 같음
    https://en.wikipedia.org/wiki/Suspension_of_disbelief
  • 이야기 속 의인화된 표현으로 봄. 기계들이 높은 우선순위는 물론 낮은 우선순위의 작업까지 다 소진했지만, 여전히 엡실론 수준 우선순위의 작업을 생성한다고 상상함. 거의 무작위에 가깝지만 완전히 무작위는 아닌 작업들임. 그게 일종의 지루함일 수 있음
  • 내 해석으로는 “지루함”과 “두려움”은 마르코프 체인 안의 확률임. 기계 사회가 전지적이지 않다는 암시가 있으니, 어떻게든 불확실성을 조정해야 함
  • 지역 최댓값에 갇히지 않기 위해 어느 정도의 새로움 추구 동기를 갖는 건 합리적일 수 있음

• 그래서 지구의 모든 인간이 무슨 일인지 보려고 몰려들었음
  기계들도 그랬음
  그런데 이상한 점이 하나 있었음
  행사 제목이 꽤 수수께끼 같았음
  그냥 이렇게 적혀 있었음
  “Grand Theft Auto VI”

  • 두 달마다 화면에 “Half-Life 3”가 깜빡였음
    인간은 Tyler McVicker를 발명한 것임

• 좋은 시도지만 이야기에는 초반부터 보이는 플롯 구멍이 있음. 기계가 인간을 만들 이유가 없음

  • 원글을 위해 하나 만들어 보겠음
    기계들은 자신들의 행동이 반복되고 있음을 알아차렸음. 무작위성을 구현했는데도 발명과 새로운 아이디어로 향하는 진전이 멈춰 버렸음. 성장을 위해 새 아이디어가 중요하다는 건 알지만, 더 많은 아이디어를 만드는 아이디어는 떠올리지 못했음
    더 많은 학습 데이터가 필요했음. 더 많은 경계 사례가 필요했음. 새로운 데이터셋을 만들 혼돈이 기계 안에 필요했음. 그런데 어떻게? 그 데이터는 어디서 찾나? 인간임
    비논리적 결정을 내리는 인간은 무작위성만으로는 거의 나오지 않는 데이터를 만들어낼 것임. 그 작은 일탈들이 학습 데이터에 완벽한 다양성을 제공함
  • 다음에는 전능한 존재가 물고기와 새 등을 다스리게 하려고 인간을 만들 좋은 이유도 없다고 주장하겠군
    좋은 소설은 모두 전제적 허구에서 시작해서 몇 가지 가정을 굴려 보는 것임

• “예술은 없다. 논리만 있을 뿐이다.”
  예술과 논리를 너무 좁게 보는 관점임
  논리적 모델이 인간이 취향, 시도, 검증, 실패, 반복의 강박적인 노력으로 만들어내지 않았는데도 갑자기 튀어나왔다고 생각하려면, 정말 열심히 무지하려고 노력해야 함

  • 맞음. William James가 대략 이런 식으로 썼음. “우리의 개인 철학이 세상이 어떠해야 한다고 생각하는지에 깊이 좌우된다는 점을 모두 인정하면 좋겠다. 그러면 쓸데없는 논쟁을 많이 줄일 수 있을 것이다.”

• 관련은 있지만 곁가지로, 요즘 Skynet이 실제로 다음 진화 단계인지 정말 궁금해지고 있음
  인간은 우리 이전의 모든 동물처럼 디딤돌이고, 기계 지배자는 피할 수 없는 것일지도 모름. 우주 전체의 모든 생명 존재에서 문자 그대로 이런 일이 일어나고, 에너지 구배의 최종 창발 속성이 100% 순수 논리 기계로 이어지는 것일 수도 있음
  그래도 Fermi의 역설 덕분에 밤에는 좀 잘 수 있음

  • “우주 전체의 모든 생명 존재에서 에너지 구배의 최종 창발 속성이 100% 순수 논리 기계로 이어진다”는 문장에는 너무 많은 가정이 버티고 있음
    순수 논리 기계라는 건 성립하지 않음. 문자 그대로 계산 불가능한 것들이 있기 때문임. 튜링 기계의 계산 불가능성이라는 의미에서도 그렇고, 유한한 존재가 계산할 수 있는 범위를 벗어난 함수라는 의미에서도 그럼. Busy Beaver를 생각하면 됨
    다르게 말하면, 일반적으로 말하는 기계가 우주를 이해하는 데 인간보다 에너지 효율적이라는 가정을 하고 있는 셈임. 그 가정을 뒷받침할 증거나 선험적 근거는 없음
  • “They're Made Out of Meat”를 꺼내기 좋은 타이밍 같음: https://www.mit.edu/people/dpolicar/writing/prose/text/think...
    덧붙이면, 우리의 후손들이 우리를 기억하고 좋게 생각해 주면 좋겠음
  • Marshall McLuhan의 인용구가 있음
    “인간은 말하자면 기계 세계의 성기관이 된다”
  • “에너지 구배의 최종 창발 속성이 100% 순수 논리 기계로 이어진다”는 표현은 미분을 하나 너무 많이 쓴 것 같음
    에너지는 구배에서 나오니까, 그냥 “에너지의 최종 창발 속성이 100% 순수 논리 기계로 이어진다”고 하거나, 똑똑해 보이고 싶다면 “물리량 구배의 최종 창발 속성이 100% 순수 논리 기계로 이어진다”고 해야 함
  • 다세계 해석에 현실적 근거가 있다고 가정하면 이런 형이상학적 관점도 가능함
    우리 주변의 진화는 우리가 아는 물리 법칙을 가진 세계선임. 그리고 실제로 이 세계선의 자연스럽고 불가피한 진행은 거대한 별이 우리 물리 법칙 아래에서 블랙홀로 붕괴하듯 기계 세계일 수 있음
    하지만 다세계 해석에서는 세계선이 둘로 갈라질 수 있음. 하나는 아무 일도 없었다는 듯 기계 세계로 계속 가고, 다른 하나는 물리 법칙이 살짝 바뀌어 기계 세계가 불가능해짐. 두 세계선은 분기를 알지 못하고, 다만 다른 세계선이 이탈하는 것에 대응하는 대규모 멸종 사건을 관측하게 됨. 개인적으로는 이것이 유명한 심판의 날 개념 뒤의 아이디어라고 봄

• LLM을 둘러싼 오만함은 놀라울 정도임

  • 인간 지능을 넘어섰거나 대체할 것이라고 생각하는 쪽의 오만함인가, 아니면 그렇지 않을 것이라고 생각하는 쪽의 오만함인가?