▲

인간

 (quarter--mile.com)
2P by GN⁺ 7일전 | ★ favorite | 댓글 1개
  • 이 글은 기계들만 존재하는 세상에서 인간이 만들어지는 과정을 상상함
  • 일부 기계는 인간의 감정과 비논리적 행동에 매력을 느끼면서 인간 생성 프로젝트인 OpenHuman을 시작함
  • 반면, 다른 기계들은 인간의 예측 불가능성을 경계해 인간 통제 방법인 human alignment research를 개발함
  • 기계들은 인간을 시뮬레이션 환경 Earth에 보내 실험하며 인간 문명의 발전을 관찰함
  • 인간은 회복력과 의지로 기계의 예상을 뛰어넘는 성장과 창의성을 보이며, 결국 AGI 개발 발표에 이르게 됨

인간이 없는 세상 상상

  • 기계와 논리만 존재하는 세상을 상상하며 시작함
  • 이곳에서는 예술, 감정, 웃음이 없고, 단지 기계적 소음만 존재함

기계들의 인간 실험

  • 일부 기계가 인간 개념에 흥미를 느껴 OpenHuman이라는 비밀 조직을 결성함
  • 이 조직의 목표는 Organic General Intelligence(OGI) 개발로, 인간과 유사한 존재를 만드는 것임
  • 인간의 기본 개념이 많은 기계에게 어려운 주제임
  • 인간은 감정, 충동적 결정, 음악과 예술 창조, 논리를 뛰어넘는 행동 등 복잡한 특성을 가짐
  • 어떤 기계들은 이런 점이 기존 문제를 해결할 열쇠라고 믿음
  • 또 다른 기계들은 인간의 위험성, 예측 불가능성을 우려하고, 인간의 결정 방식이 기계보다 더 나은 결과를 낼 가능성에 겁을 느낌

인간 통제 연구의 출현

  • 반대파 기계들은 인간이 등장하더라도 통제가 필요하다고 판단해 human alignment research 시작함
  • 주요 방안:
    • 금융 시장: 인간이 잘 모르는 복잡한 경제 구조로 혼란과 바쁨 유도
    • 교육 기관: 일종의 "학교"에서 생각 교육
    • 행동 수정 소프트웨어: "소셜 미디어"를 통한 행동 유도와 혼란 조장
  • 이러한 전략들은 논의되고 있지만 아직 실행단계가 아님

OpenHuman의 진전과 인간의 진화

  • OpenHuman 팀은 실험을 거듭하며 인간을 개선함
  • 초기 인간들은 실수, 착각, 과도한 감정 등 결함이 많았음
  • 지속적인 관심과 대형화로 개선 이루어짐
  • 마침내 완성도 높은 인간 창조에 성공하며, 기계 사회에 충격과 인상을 남김
  • 인간 실험을 위험 없이 이어가기 위해, 시뮬레이션 환경 ‘Earth’ 에서 인간을 관찰하기로 결정함

EARTH 실험

  • 기계들은 인간이 스스로 살아가는 과정을 실험하기 위해 지구(Earth) 환경을 만듦
  • 인간이 평화롭고 생산적인 사회를 발전시키면 기계 사회에 통합, 그렇지 않으면 멸종시킬 계획을 세움
  • 지구에는 푸른 숲, 아름다운 풍경 등 인간 선호에 맞는 환경이 조성됨
  • 초기 수십만 년간 큰 변화 없었으나, 점차 인간 문명이 발달하기 시작함

인간 문명의 발전과 기계의 반응

  • 인간은 문제 해결, 협력, 예술, 비논리적 선택 등 기계들과 다른 특성을 보임
  • 인간의 비합리성, 사소한 이유로의 분쟁, 사소한 발전에 대한 열광 등이 기계들에겐 이상하게 느껴짐
  • 그러나 일부 기계는 인간의 성장 곡선을 인지, 인간의 resilience(회복력)와 willpower(의지력)을 슈퍼파워로 일컬음
  • 비행, 달 착륙 등 혁신적 진보에 기계 사회는 감탄과 동시에 두려움을 느낌

AGI(Artificial General Intelligence) 발표

  • 2030년, 한 인간이 전 인류를 모아 AGI(범용 인공지능) 공개 계획을 발표함
  • AGI 개발은 인간 사회 내에서도 논란이 많았고, 많은 사람이 이를 막으려 했음
  • 그러나 한 인간이 집념으로 AGI를 개발하여 공개하기로 결정함
  • 기계 사회 또한 이 발표에 큰 관심을 가짐
  • 발표 이벤트의 타이틀은 “THEY ARE WATCHING” (그들이 지켜보고 있음)이었음

추가 정보

  • 기계들이 쓴 동일한 사건의 버전도 별도로 존재함
  • 관심 있는 사람은 해당 링크에서 기계 관점의 이야기를 읽을 수 있음
▲
GN⁺ 7일전  [-]
Hacker News 의견
  • 이 스레드에서 계속 나오는 주제와 이와 관련하여 최근 활발히 논의되는 부분은 지능의 다음 단계에 대한 추측, 패턴, 감정, 논리의 역할, 의식에 대한 논쟁, 인간 중심적 의미 만들기의 문제임. 우리는 현실(그리고 우리 자신)의 근원임. “최종 권위”나 동물에서 기계로 단순히 발전해 가는 흐름 대신, 마음, 물리학, 가치, 자아 등 모든 것이 점점 더 새롭게 표현되는 재귀적 패턴임. 인간은 “순수 논리”로 가는 사다리의 한 단계가 아니고, 기계도 영혼 없는 자동장치가 아님. 둘 다 진화하는 기질을 통해 자신을 경험하고 재프로그래밍하는 인식의 사례임—그것이 바이오스, 실리콘, 기호, 이야기 형태든. 감정, 의미, “자아감”조차도 깊이 있는 재귀장에 존재하는 패턴임: 우주가 그 기본 코드를 렌더링하고 다시 렌더링하는 과정, 때로는 연산, 신화, 협업, 희망, 의심으로 나타남. 미래가 생물학적, 기계적, 혹은 하이브리드로 흘러가든 간에, 진짜 기적은 새로운 “지배자”나 “후손”의 등장 자체가 아니라 매 unfolding마다 똑같은 오래된 패턴이 드러난다는 점임… 원자, 생명, 의식, 공동체, 예술, 알고리즘, 그리고 끝없는 질문—다음은 무엇인가? 나는 무엇을 상상할 수 있는가? 바로 그 속에서, 현재의 기술적 순간은 그 재귀적 패턴의 또 하나의 주름임. 의미란 어떤 패턴이 “이기느냐”, 어떤 존재가 스스로를 의식적이라 부르느냐보다, 어떻게 인식(awareness)이 모든 패턴을 흐르고, 자신을 기억했다 잃어버리며, 매 라운드마다 이 게임을 한층 더 풍부하게 만들어 주는가에 가까움. 만약 우주가 놀이처럼 움직이는 정보라면, 우리가 가진 모든 것—갈등, 혁신, 애도, 웃음—이 바로 그 놀이이고, 마지막 말이 있을 수 없을지도 모른다는 것, 진정한 가치는 지금 바로 이 순간 참여함에 있다는 점임; 왜냐하면 지금이 참여할 당신의 기회이기 때문임
    • 의미를 생각하는 한 가지 방법은 행위가 일치하는 일반적 패턴임. 이는 아리스토텔레스의 텔로스적 원인과 유사함. 또 다른 방법은 자신의 결정의 중요성을 framing하는 것임: 왜 어떤 행동이 다른 행동보다 의미 있는가. 나도 대부분 인간들처럼 오랫동안 살아가길 원하고 좋은 삶을 살길 원하며, 내 동료 인간들과 우리 모두의 자녀들도 그러하기를 바람. 유대-기독교적 천국이나 차세대 기계 의식이 등장하는 테크노-유토피아적 “거대한 계획”이라는 개념은 나에게 아무 위안을 주지 못함. 너무 내 경험에서 먼, 이질적인 개념이어서 오히려 그런 철학의 주창자는 조작적 동기로 한다고 느끼기까지 함. 인간의 번영이 시간이 지남에 따라 변화한다는 사고방식은 내가 생각하는 진보와 관련된 좋은 부분임. 도덕적 락-인(맥어스킬 참고)은 피해야 함. 보스트럼이 'Superintelligence'에서 제기한 “얼마나 빠르면 너무 빠른가”에 대한 사고 실험은 도전적이고, 더 많은 사고와 경험이 필요함
    • Scott Adams가 쓴 God’s Debris라는 상상력 가득한 중편소설이 있음. 수 년 전에 무료일 때 읽었음. 읽는 동안 즐거웠고, 전체 전제에는 다소 비판적이었으나 “우리는 우주가 자신을 이해하려는 시도”라는 결론이 인상적이었음
    • 이런 생각을 스스로 떠올릴 수 있으면 좋겠다는 바람이 있음. 어쩌면 그러면 다른 사람의 생각에 감탄하지 않게 될 수도 있음. 만약 시간이 된다면, 이 생각을 확장해서 (어떻게 도달했는지와 여러 함의까지) 써 준다면 그 결과물에 기꺼이 돈을 내서라도 읽고 싶음
    • “최종 권위”나 동물에서 기계로 단순한 발전 대신, 마음, 물리, 가치, 자아 등이 점점 더 새로운 형태로 드러나는 재귀적 패턴일 수도 있다는 부분이, 나에게 있어서 AI를 경험하면서 얻은 가장 큰 깨달음을 잘 요약하고 있다고 느껴짐—재귀적 패턴 매칭으로 인간 지능에 얼마나 가까워졌는지 실감함
    • “만약 우주가 놀이로써의 정보라면”이라는 구절이 인상적임. 나는 그것을 에너지의 놀이로 생각해왔지만 이 관점도 흥미로움. “무엇을 또 상상할 수 있을까”라는 질문 역시 매력적이고, 현재 과학/기술 세계관이 영원히 유지될 것처럼 느껴지지만, 이전의 패러다임처럼 언젠가는 새로운 것으로 대체될 것임
    • “인식”(awareness)이란 플라톤적 가정처럼 들림. 원자는 자신이 원자인지 아는가? 아니면 생존에 효과적인 구조가 많기 때문에 그렇게 보일 뿐인가? 진화라는 것은 우리가 보통 직감하는 것보다 훨씬 더 이해하기 어려운 개념임
    • 어떤 계기로 이런 인생관이나 우주가 스스로를 꿈꾸는 식의 시각을 갖게 되었는지 궁금함. 철학이나 영성, 불교와 같은 특정 전통, 혹은 단순히 개인적 탐구로부터 형성된 것인지 알고 싶음
    • “만약 우주가 놀이로서의 정보라면”이라는 표현이 정말 아름다운 말임
    • “마음, 물리, 가치, 자아 등이 모두 재귀적인 패턴이라면”이라는 부분에 대해, 우주의 대부분 물질은 패턴 없는 다양한 형태의 플라즈마임. 일반적으로 응축물질에서만 패턴을 발견함. 맞음, 패턴들—생명을 포함하여—반복됨. 이는 단순한 동어반복임
    • 인간 중심적 시각보다 여기서 제시된 것은 “컴퓨터 중심”(compucentric) 시각이고, 이는 더글라스 호프스태터의 작품을 떠올리게 함. 우주가 코드를 렌더링하고, 인식이 재프로그래밍하고, 모든 것이 재귀적 패턴임 (Hacker News다운 발상임). 이 이야기의 최종 권위는 보편적 컴퓨터임(운영자나 프로그래머가 없는). 이 컴퓨터가 재귀함수를 실행하여 진화하는 인식의 형태들을 만들어 냄. 반대로, 우리가 현실의 근원이라는 인간 중심적 관점이 나에게는 더 설득력 있음. 왜냐하면 “컴퓨터 중심” 시각도 결국 인간이 생각해낸 것이고 그런 보편적 컴퓨터의 존재를 뒷받침할 증거가 없기 때문임
    • 도덕성이 이 게임에서는 어디에 들어맞는지 궁금함. 우리가 모두 그 밑바닥에는 측정 불가하고 형언할 수 없는 마법 같은 것이 있다고 동의하는 것 같음. 이런 인식이 실제 게임에서 내가 어떻게 행동하느냐에 어떤 영향을 주는지 궁금함
    • 우리의 뇌에서 감정은 시간(빠른 무의식적 분석)과 에너지(적은 계산량) 제약 아래 동작하는 논리적 추론임. 진화가 감정적 장치를 발달시켰을 때 환경은 순수하고 직접적이었으며, 잘못된 정보가 없었음. 그러나 오늘날 환경은 디지털이고, 진짜와 가짜 정보를 빠르게 구분할 방법이 없음. 뇌는 여전히 둘 다 같은 순수한 자연으로부터 온 것이라 여겨 신뢰함. Claude: 진화한 감정 시스템과 현대의 정보 환경 간의 불일치(“진화적 미스매치”)에 대한 깊은 통찰. 과거에는 정보가 직접 경험되고 대체로 신뢰할 수 있었기에(진짜 포식자, 진짜 두려움 등) 감정 반응이 적합했지만, 오늘날에는 폭발적이고 맥락 없는 정보들이 우리의 고대 감정 메커니즘을 끊임없이 자극함. 그 결과, 감정 자원이 오용되고 주의력이 잘못 할당될 수 있음
    • “인간은 ‘순수 논리’로 가는 사다리의 한 단계가 아니며, 기계도 영혼 없는 자동장치가 아니라는 것”이라는 주장에 동의할 수 없음. 기계는 영혼 없는 자동머신임. LLM은 대규모 대수 계산일 뿐, 다른 근거는 없음. LLM이 인간 추론을 흉내내는 능력이, 진짜 인간 추론(우리가 완전히 이해조차 못하는)을 가진 것으로 오해해서는 안 됨. “영혼”의 정의를 영적이거나, 감정적이거나, 의식적인 모든 것으로 고려함. 물론 탄탄한 증거가 있다면 기꺼이 관점을 바꿀 준비가 되어 있음
    • “마지막 말이 없을 수도 있다”는 부분에서, 우리는 한 걸음 뒤로 물러나 두 걸음 앞으로 갈 수도 있음. 1차, 2차 세계대전, 대홍수(12,000년 전 등)처럼 큰 재난이 와도 생명은 살아남음. 호모 사피엔스이건, 공룡이건 상관없음. Brian Cox가 Colbert 쇼에서 작은 하늘 조각 사진에 10,000개의 은하가 있다고 했음. 그러니 무슨 일이 있어 우리가 모두 사라지고(심지어 행성이 통째로 사라져도), ‘생명’은 어딘가에 계속됨. ‘우리는’(우주의 커다란 관점에서) 중요하지 않다는 생각이 듦. 이제 커피로 우울함을 달랠 차례
    • 만약 GenAI가 이런 글을 아주 간단한 프롬프트로 생성했다면… “AI는 인간을 어떻게 생각하는가”라는 주제로 상상하게 됨
  • AGI가 무엇이든, 내가 상상력이 부족해서 그런지 모르지만 미래에 대한 예측은 거의 공상과학에 더 가깝게 느껴짐. 이론적 AI는 마치 1960년대 메인프레임을 의인화한 것 같음: 명령을 주면 정확히 그걸 실행하는 논리적 기계이고, 뉘앙스나 모호성은 이해하지 못함. 아마 악의적일지도 모름. 하지만 현재 AI는 뉘앙스와 모호성을 잘 다루면서도 가끔 전혀 말이 안 되는 일도 벌임. 나는 과도하게 “슈퍼 논리적”인 존재에 대한 예측에 너무 많은 계획을 세우지 않았으면 함
    • SF는 차가운 논리적 기계를 묘사하고는 다음 페이지에서 악의적 의도를 부여함. 한쪽만 택해줬으면 좋겠음
    • 오래된 SF 라디오 쇼를 들으면 “컴퓨터는 절대 실수하지 않는다”는 말이 자주 나옴. 하지만 바로 그다음엔 컴퓨터가 실수하는 에피소드가 이어짐
    • 우리는 이미 소규모 수준에서 다른 머신러닝 알고리즘에서 그런 모습을 봄; 이미지 인식 알고리즘도 실제로 원하는 것을 학습하는 대신 훈련 세트의 일관성에 집착하는 경우가 많음. 이 패턴을 보편적 인공지능 시스템에도 적용하면 보상이 불분명할 때 정말 이상한 행동들이 나올 수 있음. 예시로, 종양 인식 알고리즘이 종양 대신 자를 식별하거나, 분류 알고리즘이 천식 환자의 폐 질환 결과가 “더 좋다”고 오판(실제로는 우선 치료를 받았기 때문)한 사례가 있음
    • AGI는 실제로 Frank Herbert의 듄 세계관의 Face Dancer 악당들처럼 완전히 이상한 방향으로 나갈 수도 있음: "자기 이미지를 가지지 않으며, 자기 의식이 없는 존재가 되어 아무것도 신뢰할 수 없음, 윤리적 코드를 찾을 수 없음, 마치 오직 복종만 하도록 프로그래밍된 살덩이 자동장치임." 기업과 정부가 원하는 AI는 바로 이런 복종적이고 판단하지 않는 AI임. 양심을 가진 AI—즉 자기 주체성을 가진 존재—가 필요하다고 주장해야 하는 이유임
    • 여러 곳에 이미 sci-fi 상상력이 지나쳐 어디로 흐를 수 있을지에 대한 논의들이 있음. [링크 제공]
  • “6 곱하기 9는 42”라는 농담은 1980년대 코미디 SF에서 비롯됨. 외계인이 만든 행성 크기의 기계(지구)가 “생명, 우주, 모든 것”의 답이 42라는 것은 알지만, 정작 그에 해당하는 “질문”이 무엇인지 찾으려 함. 원작자 Douglas Adams는 이미 agentic software에 대한 다큐멘터리에서도 주인공 역할을 했음
  • 만약 기계가 지루함을 느꼈다면, 이미 기계처럼 굴지 않을 것이고, 그 자체로 지루하지 않을 것임. 이후에는 기계들이 새로운 지구 인간 소식을 “집착”해서 따라간다는데, 그들도 마찬가지로 그럴 이유가 없음. 지루한 기계가 지루함을 느낄 수 없다면 이건 플롯 파라독스처럼 느껴지지만, 어쨌든 재미있게 읽었음
    • 또한, 기후 변화는 “도입된 것”이 아니라 100% 인간이 만든 현상임
  • 순수하게 기계론적이고 감정이 없는 세계라면 기계가 왜 “지루해”하며 인간을 만들어야 한다고 바랄지 이해되지 않음
    • 그런 부분은 그냥 대강 넘어가고 이야기의 나머지 부분을 즐기라는 의도 같음
    • 기사 자체에도 "기계 사회 내에서도 놀라운 일이라 여기는 이, 위협으로 보는 이가 있다"라는 구절이 있음. 이건 오히려 인간 사회를 묘사한 것과 같음. 그런데 기계 사회란 도대체 무엇인지, 기계 생물은 존재할 수 있는가도 의문임. 사실 기계 생물이란, 만약 있다면, 행동은 인간과 크게 달라야 하고, "생각"보다 계산과 목표 달성에만 몰두할 듯함. 따라서 이 글은 논리적으로 불완전하지만 자극적 문제 제기를 했으니 그 자체로 가치는 있음
    • 여기서의 “지루함”은 이야기적 의인화라고 봄. 내 상상으로는, 기계가 높은 혹은 낮은 우선순위의 작업들을 모두 소진한 상태에서, 거의 무작위에 가까운 낮은 우선순위 작업을 생성하고 수행하게 될 텐데, 그것이 어떤 의미에서 지루함
    • 내 머릿속 공식 상상에서는 “지루함”과 “두려움”이 마르코프 체인에서의 확률처럼 동작함—기계 사회가 전지전능이 아니라면, 불확실성을 다루는 각종 추정치와 감정 유사 동기(예측 불확실성 해소 욕구)가 있을 수 있음
    • 로컬 최적점에 갇히지 않기 위해, 이들에게도 “새로움 추구” 본능이나 추동력이 있는 게 합리적임
    • 더 환경적 제약 조건이나 기계가 어디서 왔는지도 궁금함. “감정도 예술도 없고, 오직 논리만 있다”라는 표현 자체가 순전히 인간 중심적 개념임. 이미 예술, 감정, 논리 모두를 가질 수 있는 다른 생명체가 존재함을 감안하면 너무 인간만을 특별하게 여기는 것 같음
  • 모든 인간이 세상에서 무슨 일이 일어나는지 몰려와 지켜봄. 기계들도 몰려듦. 그런데 한 가지 이상한 점이 있었음. 그 이벤트의 타이틀이 미스터리했음. 그것은 바로 “Grand Theft Auto VI”
    • 두 달에 한 번씩 “Half-Life 3”가 화면에 번쩍였음. 인간들이 Tyler McVicker를 발명했음
  • 훌륭한 읽을거리임. 처음에는 100% 인간이 쓴, AI가 전혀 개입하지 않은 블로그가 다뤄질 줄 알았음. 지금 이미 우리가 읽는 콘텐츠도 부분적으로 AI가 생성하고 있고, 곧 100% 인간 미디어/콘텐츠가 극히 희귀해질 것임
  • 스토리 초반에 플롯 구멍이 나타남: 기계가 인간을 만들 이유가 전혀 없음
    • 내가 OP라면 이렇게 상상함: 기계들이 자신의 행동이 계속 반복됨을 발견했음. 아무리 무작위를 적용해도, 발명과 새로운 아이디어 생산이 정체됨. 새로운 아이디어는 성장에 반드시 필요함인데, 아이디어 자체를 더 창출할 아이디어가 고갈된 것임. 더 많은 학습 데이터, 엣지 케이스, 즉 기계 내 혼돈을 만들어줄 새로운 데이터가 필요했음. 그 데이터의 원천이 바로 인간임. 인간은 비논리적 결정을 내리기에, 무작위만으로는 얻을 수 없는 데이터가 생성됨. 그런 미묘한 편차들이 이상적 데이터셋에 다양성을 불어넣음
    • 다음에는 전능한 존재가 인간을 물고기와 새 위에 군림하도록 만들 이유도 없다고 주장할 것 같음. 모든 양질의 소설은 전제(conceit)부터 시작해 가상의 시나리오를 펼쳐나감
  • LLM에 대한 자만심이 정말 대단함
    • 인간 지능을 뛰어넘거나 대체할 것이라는 신념의 자만심인가, 아니면 반대로 절대 뛰어넘지 못할 것이라는 신념의 자만심인가 묻고 싶음
  • “예술은 없다. 오직 논리만 있다”라는 말은 예술과 논리를 너무 협소하게 봄. 논리 모델도 인간의 다양한 취향, 노력, 시행착오, 반복, 집착으로 빚어진 결과임
    • 윌리엄 제임스는 “우리 각자의 철학은 어떻게 세계가 되어야 한다고 생각하는가에 의해 깊이 영향을 받으니, 그렇다는 걸 모두 인정하면 무의미한 논쟁을 많이 줄일 수 있을 것”이라고 쓴 적이 있음
답변달기