가장 심오한 비디오 게임: 연구를 위한 우수한 인지 보조 도구

 (thoughtforms.life)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 퍼즐 게임 Baba is You는 생명과 마음을 이해할 때 필요한 정신적 유연성을 훈련시키며, 데이터와 알고리듬, 인지 시스템과 내용 사이의 경계를 흐림
  • 단어 오브젝트의 배치를 바꾸면 세계의 규칙이 바뀌는 구조가 사물과 규칙, 물리적 대상과 정보 메시지의 구분을 흔듦
  • 생물학에서도 분자·생체전기 정보가 세포, 기관, 유기체의 해석 방식과 이후 진화에 영향을 주며, 내부에서 바뀌는 자기참조적 동역학을 만듦
  • McConnell의 플라나리아 식인 실험, 기억 흔적, active data, agential memories는 같은 물질도 조직 수준에 따라 객체이자 인지 매체가 될 수 있음을 보여줌
  • Baba is You는 발달생물학, 컴퓨터 과학, 인지과학이 만나는 영역에 들어가기 위한 가상현실 정신 보철물로 쓰일 수 있고, TAME 프레임워크 기반 확장과 AI 결합 여지도 있음

Baba is You가 훈련시키는 사고 방식

  • Baba is You는 도전적인 퍼즐 게임이면서, 생명과 마음을 다룰 때 익숙한 범주를 깨뜨리도록 만드는 도구임
  • 특히 다음 구분을 고정된 이분법이 아니라 더 연속적이고 유동적인 관계로 보게 함

    • 데이터와 알고리듬

    • 인지 시스템과 그 내용

      • 사물과 정보 메시지
      • 연구실에 합류하기 위한 준비 목록에 넣을 수 있을 만큼, 관련 분야의 정신적 유연성을 익히는 입문 도구로 적합함
      • Hofstadter의 고전 GEB도 비슷한 준비 자료로 함께 거론됨

사물과 규칙의 구분을 무너뜨리는 게임 구조

  • Baba is You의 세계에는 위치나 통과 불가능성 같은 물리적 속성뿐 아니라 의미를 가진 오브젝트가 존재함
  • 일부 의미는 세계의 물리를 직접 결정하며, 단어들의 상대적 위치를 바꾸면 오브젝트의 행동과 플레이어가 할 수 있는 행동도 달라짐
  • 문장을 새로 만들기 위해 오브젝트를 움직이는 행위가 곧 세계의 작동 방식을 바꾸는 조작이 됨
  • 이 구조는 메시지, 관찰자, 해석, 규칙을 둘러싼 질문으로 이어짐
    • 실제 세계의 대상이 단순한 사물인지 정보인지 어떻게 구분할 수 있는가
    • 둘 사이에 이분법적 구분이 있는가
    • 형태와 패턴 자체가 에이전트가 될 수 있는가

물리 법칙과 생물학 법칙을 다시 묻는 방식

  • 게임의 규칙 조작은 물리 세계에서 물리 법칙의 지위를 어떻게 볼 것인가라는 질문으로 확장됨
  • 물리 법칙이 우주의 어떤 측면에서 나온다면, 원칙적으로 우주 내부에서 바뀔 수 있어야 함
  • 반대로 물리 법칙이 우주에서 나오지 않는다면, 대문자 U의 Universe 개념에서 그 법칙이 어디서 기원하는지가 문제가 됨
  • 생물학 법칙 중 일부는 내부에서 바뀔 수 있음
    • 분자 정보와 생체전기 정보는 분자 경로, 세포, 기관, 유기체가 생물학적 정보를 해석하는 방식에 영향을 줌
    • 이런 정보는 이후 진화가 전개되는 방식에도 영향을 줄 수 있음
    • 이 과정은 본질적으로 자기참조적인 동역학임

객체와 메시지가 동시에 되는 생물학적 사례

  • McConnell의 고전적 플라나리아 식인 연구에서는 훈련된 플라나리아가 경험 없는 숙주에게 먹히고, 행동 정보가 전달됨
  • 이 사례에서 기증자의 화학적 기억 흔적은 숙주에게 음식이면서, 숙주의 조직이 해석해 행동을 이끄는 기억이기도 함
  • 더 넓게 보면 mRNA, 단백질, 기타 기질로 구성된 기억 흔적은 조직 수준에 따라 다른 성격을 가짐
    • 분자 수준에서는 물리적 객체
    • 유기체 수준에서는 인지 매체

소프트웨어, 하드웨어, 능동적 데이터

  • Baba is You는 소프트웨어와 기계, 데이터와 하드웨어 사이의 이분법적 구도를 깨뜨림
  • 이 관점은 Diverse Intelligence 분야에서 발전 가능성이 큰 주제와 연결됨
  • 수동적 정보 패턴인 생각과 능동적 인지 에이전트인 생각하는 존재 사이에는 연속체가 있을 수 있음
  • 게임 플레이는 과학 논문만으로는 이해하기 어려운 이 틀을 직관적으로 익히게 만들 수 있음

“YOU” 토큰과 메타-가소성

  • 게임 안에서 플레이어가 조작할 수 있는 토큰 중 하나인 YOU는 플레이어 자신을 가리킴
  • 이 토큰을 포함한 새 문장을 만들면 플레이어의 능력과 세계와의 관계가 바뀌며, 일종의 메타-가소성이 가능해짐
  • 이는 발달, 변태 같은 생물학적 과정에서 행동이 형태와 기능을 급격히 바꾸는 시스템을 떠올리게 함
  • 이런 변화는 다음 요소와도 연결됨
    • 행동하는 공간
    • 추구하는 목표
    • 보유한 선호
  • 플레이어의 행동이 플레이어 수와 선호를 바꾸는 게임 이론 확장으로도 이어질 수 있음
    • 이 경우 보상 행렬은 동적으로 변형됨

가상현실 정신 보철물로서의 게임

  • Baba is You는 단순한 게임이 아니라 가상현실 정신 보철물에 가까움
  • 능동적이고 동적인 몰입형 직관 펌프 집합처럼 작동하며, 새로운 과학 분야의 중요한 측면에 들어가는 데 도움을 줄 수 있음
  • 이 분야는 다음의 교차점에 있음
    • 발달생물학
    • 컴퓨터 과학
    • 인지과학

TAME 프레임워크 기반 확장 아이디어

  • TAME framework를 바탕으로 적어도 세 가지 확장 방향이 가능함

  • Polycomputing 구현

    • polycomputing은 여러 관찰자가 세계의 물리적 특징을 각자의 방식으로 해석하고 해킹한다는 틀임
    • 멀티플레이어 동역학으로 구현하거나, 환경 속 오브젝트를 자기 목적에 맞게 읽는 생물학 영감 NPC로 구현할 수 있음
    • 플레이어는 관찰자 중심, 관점 중심의 시각에 익숙해지고 필요에 따라 의미 프레임을 전환할 수 있음

  • 자율적 에이전시 강화

    • 텍스트 메시지가 정보 전달, 해석 가능성, 더 큰 인지 시스템에 의한 채택 등과 관련된 자기 목표를 갖는 지능 스펙트럼을 구현할 수 있음

  • 다중 스케일 동역학 구현

    • agents within agents처럼 에이전트 안의 중첩 에이전트를 가능하게 할 수 있음
    • 오브젝트와 메시지가 계층을 따라 다른 오브젝트와 메시지를 가상화하고 생성하는 구조를 구현할 수 있음

AI와 관련 자료

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이 글의 바탕이 된 게임은 Baba Is You임: https://store.steampowered.com/app/736260/Baba_Is_You/
    논리 퍼즐 게임이고, “you”를 “flag”로 보내는 것이 목표처럼 보이지만 더 정확히는 “win”에 도달하는 것임. 보통 기본 규칙은 “flag is win”이고, 여러 사물과 단어를 조합해 게임의 규칙 자체를 바꾸게 됨. HN 취향에는 강력 추천함

    • Baba is You가 다른 퍼즐 게임과 달랐던 점은 퍼즐 자체가 실제로 웃기다는 것이었음
      Portal처럼 재밌는 서사 옆에서 퍼즐을 푸는 게 아니라, 퍼즐의 언어 자체 안에서 설정이 뒤집히고, 말도 안 되지만 기분 좋게 여러 층으로 전복되며 해법에 다가가게 됨. 플레이하는 동안 수학을 담당하는 뇌가 웃는 느낌이었음
      게임이 친절하게 손잡아 주지는 않고, 퍼즐 언어를 충분히 익혀 정말 좋아지기까지 10시간쯤 걸렸던 듯함. 후반 깊은 구간에서는 짜증 날 정도로 세밀해지기도 했지만, 중간 30시간 정도는 지금까지 해본 게임플레이 중 가장 만족스러웠음
      약간 반-Witness처럼 느껴졌음. The Witness는 꼼꼼하게 공정하고 너무 정교해서 돌이켜보면 감탄스럽지만, 실제 플레이는 꽤 형식적이고 유머가 없었음. Baba is You는 조금 허술하고 불공정할 수 있어도 따뜻하고 재밌고 웃기며, 퍼즐의 장인정신도 나름의 방식으로 최상급임
    • 구매 전에 몇 레벨을 먼저 해보고 싶다면, 게임잼 버전이 itch.io에 있음: https://hempuli.itch.io/baba-is-you
      다만 Windows 전용임. 최근에는 레벨 수가 더 적은 Pico-8용 디메이크도 나와서 브라우저에서 플레이 가능함: https://www.lexaloffle.com/bbs/?tid=142638
    • 예전 HN 스레드 추천을 보고 샀고, 7살·8살 아이와 함께 플레이 중임
      아직 세 시간 정도밖에 못 했지만 아주 즐거움. 옆 댓글처럼 퍼즐이 셋 모두에게 자주 웃기고, 막내도 해법을 제안하고 찾아낼 수 있음. 7살 아이가 나보다 먼저 해법을 떠올린 레벨도 있었음
    • Google Play Store에도 있음: https://play.google.com/store/apps/details?id=org.hempuli.ba...
      어젯밤 수면 계획을 완전히 망가뜨렸고, 몇 분 만에 “캐릭터를 움직인다”는 기대를 깨버림
      카드를 낼 때마다 규칙이 바뀌는 카드 게임 Fluxx가 조금 떠오름: https://www.looneylabs.com/games/fluxx
    • 직접 갖고 플레이해 봤는데, 생각의 한계를 시험하게 만드는 게임
      나도 막히는 부분이 많지만 그래도 추천할 수 있음. 아하 순간이 많음

  • 글쓴이가 말한 인지적 측면에 대해 예전에 쓴 글들이 있음:
    https://blog.jtoy.net/examining-concepts-through-different-f...
    https://blog.jtoy.net/on-the-wondrous-human-simulation-engin...
    https://arxiv.org/abs/2210.12068
    인간의 뇌에는 적어도 12개가 넘는 서로 다른 좌표계가 있고, 이 이미지를 자주 참고함: https://cln.sh/gpqhwrw2Hg92MQz62TY6
    인간은 마음속 실시간 비디오 게임 시뮬레이션 시스템처럼 어떤 것이든 원하는 관점에서 살펴볼 수 있음. 인공 신경망에는 데이터를 처리할 때 관점을 인코딩하고 변환하는 핵심 능력이 빠져 있는 것 같음. 기본 LLM이 역전 저주에 실패하는 것만 봐도 그렇고, GPU와 학습 데이터를 아무리 더해도 고쳐지지 않을 것 같음: https://arxiv.org/abs/2309.12288
    인간의 내후각피질에는 격자 세포라는 특수 뉴런이 있고, 해마 세포와 함께 일반화된 좌표 변환을 수행함. 격자 세포 발견은 노벨 생리의학상을 받았음: https://www.nobelprize.org/prizes/medicine/2014/advanced-inf...
    개인적으로는 좌표 변환 계층에 넣어볼 유력 후보라고 봄. 이 “좌표 변환 시스템”을 포함한 ANN을 만들고 싶지만, 코드로 어떻게 옮겨야 할지 아직 모르겠고 이게 꿈의 프로젝트임

    • ANN이나 LLM에는 물리적 위치나 관점이 없다는 게 문제이고, 그래서 기계학습 쪽에서는 체화(embodiment) 개념으로 가고 있음
      알고리즘과 에이전트가 인터넷에서 주로 큐레이션된 이미지·영상·텍스트 데이터셋에서 배우는 게 아니라, 인간과 비슷한 자기중심적 지각으로 환경과 상호작용하며 배우는 방향임
      흥미롭게도 논문에는 이 용어가 보이지 않았지만, 자기중심 표현과 외부중심 표현의 대비는 다뤘고 그게 핵심에 있음
      AGI의 큰 과제는 두 관점을 통합해 둘의 장점을 얻고, 불균형의 위험을 줄이는 일이 될 것 같음. 중력과 양자역학을 다루는 물리학과 비슷함
      전역 최적 결정을 위해서는 외부중심 관점이 필요하고, 고유한 지역 환경에서 강건한 자율성을 가능하게 하려면 자기중심 추론도 필요함
      다중양식 표현 학습은 격자 세포 같은 교차 양식 동작을 본질적으로 어느 정도 달성하는 것처럼 보임. 다만 내가 아는 연구들에서는 물리적 위치가 입력으로 들어가지는 않음. 위치 인코딩과는 다른 얘기임
    • 찾고 있는 것은 군 등변성(group equivariance) 이고, 군 등변 신경망에 관한 연구가 있음
      아주 최근의 Clifford Group-Equivariant networks 논문도 흥미로울 수 있음. 유클리드 시공간 변환뿐 아니라 민코프스키 시공간에도 적용됨
      새로운 시점 합성 구현인 instantngp나 다른 NeRF 계열 모델도 관심 가질 만함. 개인적으로 InstantNGP는 최근 신경망 구조 대부분과 비교하면 터무니없을 정도로 단순함
      역전 문제에 대해서는, 예컨대 인코더-디코더 모델(T5 등)이나 “순서 없는 자기회귀” 모델(지난주 sigma-GPT 등)에서도 여전히 얼마나 강하게 성립할지 궁금함
    • 트랜스포머에서 쓰는 위치 임베딩은 사실 격자 세포와 수상할 정도로 비슷함
      매우 유사한 종류의 좌표 변환을 가능하게 해줌

  • 이 게임은 정말 머리를 터뜨리는 게임
    규칙은 단순하고 명확하며 숨겨진 특수 꼼수도 없는데, 거의 모든 퍼즐이 “이건 불가능해”에서 “아, 그 생각을 못 했네”로 바뀜. 전제를 계속 산산이 깨뜨림

  • 생각을 바꾸거나 기술을 익히게 해주는 게임 얘기가 나온 김에, 추천할 만한 게 있을까?
    개인적으로 도움받은 것은 체스, Vim Adventures, DuoLingo임
    체스는 수완, 창의성, 계산, 행동 전 멈추기, 미해결 상태에 편안해지는 법을 가르쳐 줬음. 예를 들어 두 개 이상의 말 교환이 가능해도, 단순화가 내 위치를 악화시키면 그 충동을 참아야 함. 또 산만함과 수면 부족이 인지에 얼마나 영향을 주는지도 깨닫게 해줬음. 잠이 심하게 부족하면 내 Elo가 100점 떨어지고, 산만한 공공장소에서 두면 또 100점쯤 떨어질 수 있음
    Vim Adventures는 게임 자체로 추천할 만큼 흥미롭지는 않지만, 며칠 동안 하루 3~4시간씩 Vim 키 입력을 반복해 근육 기억을 만들고 대부분의 코딩 작업에 덜 서툴게 쓰게 만드는 데는 견딜 만하게 해줬음
    DuoLingo는 ‘게임’이라기보다 교육 도구에 가깝지만, 책이나 오디오로 외국어를 배우는 것보다 훨씬 쉽게 만들어줘서 언급할 만함

    • Factorio를 플레이하며 정말 도움을 받았음
      물류적 사고방식을 심어주고, 뭔가 하기 전에 공급망을 먼저 구성하는 식으로 생각하게 됨. 이건 아주 추상적인 기술이 되어 삶의 여러 영역에 적용되기 시작함
      두 번째로, 공장을 만드는 공장을 만드는 공장을 만들게 되면서 사고가 더 높은 추상화 수준으로 올라감
      세 번째로, 높은 수준의 다형적 사고를 배우게 됨. 제품이 서로 다른 공정을 거치면 전혀 다른 물건이 되고, 그중 일부는 다시 시스템으로 되먹임됨
      플레이 시간은 낮은 두 자릿수 정도였지만 생각을 구체적으로 확장해줬음. Factorio는 강력 추천함
      체스도 더 가까운 미래를 내다보는 데 도움이 됐음. 실제 경쟁자가 있는 상황에서는 특히 그렇고, 경쟁자가 없어도 그랬음
      Scrabble은 어린 나이에 영리한 꼼수와 실용주의가 “우아함” 같은 성질보다 승리에 더 도움이 된다는 걸 얼굴에 던져진 교훈처럼 알려줬음
    • 역공학에 입문하고 싶다면 http://microcorruption.com이 좋음
    • while True: learn()이 떠오름
      흐름 관점으로 생각해야 하는 퍼즐을 풀고, 우연히 기계학습도 조금 배우며, 컴퓨터 네트워크 설계나 병목이 과제인 앱 확장 같은 작업으로도 전이될 만한 것들을 다룸
      Polytopia는 체스와 비슷하게 느껴짐. 공격이나 방어를 성사시키려면 정확히 움직여야 하는 상황이 많음. 체스가 군사와 영토에 크게 집중한다면, Polytopia는 군사·영토·경제·기술 발전을 균형 있게 다뤄야 함
      이 게임은 “이 부족으로 이 지도 유형에서 최적으로 확장하는 방법은 뭘까” 같은 질문을 많이 만들어내고, 결국 작은 코딩 프로젝트로 답을 찾아보게 만듦
    • Elden Ring도 추천하고 싶음
      반사신경과 손눈 협응에 도움이 되지만, 더 중요한 건 선(禪) 같은 마음가짐을 길러준다는 점임. 1000번째 죽음을 피할 수 없을 때마다 좌절하는 대신, 맞아가며 문제를 풀어야 함
    • 일반적으로 게임을 통해 기술을 전이하는 것은 꽤 어려움
      실제로 게임 안에서 연습하는 기술을 제외하면 그렇고, 체스를 둔다고 주로 늘어나는 것은 체스 Elo임. 다만 이 영역을 넓히려는 연구는 진행 중임: https://link.springer.com/content/pdf/10.1007/s41465-022-002...
      게임, 그리고 최근 특정 웹사이트와 유튜브 채널에서 광고되는 “교육용” 앱들이 확실히 도움이 되는 부분은, 다루는 과학 분야에 대한 인식과 동기를 높여준다는 점임

  • 몇 분 전, 혹은 이 글을 언제 읽느냐에 따라 몇 시간·며칠 전, The Legend of Zelbaba: Linkeke between words라는 커스텀 레벨 세트가 @party 2024에서 발표됐음: https://scenesat.com/video/atparty
    실제 발표는 라이브 스트림 17분쯤부터 시작함. 레벨 팩은 여기 있고 기본 게임이 필요함: https://gamebanana.com/mods/150971

  • 몇 년째 작업 중인 사이드 프로젝트 홍보를 조금 하자면, Baba is You를 좋아한다면 Pathology나 Sokopath도 즐길 수 있을 듯함
    내 사이트 Thinky.gg에서 플레이 가능함: https://thinky.gg
    Thinky에는 블록 밀기 레벨을 매일 공개하는 꽤 활발한 커뮤니티가 있음. 난이도는 유치원 수준부터 슈퍼 그랜드마스터까지 다양함. 전 세계에 커스텀 레벨을 공개할 수 있는 레벨 편집기도 있음

  • “무엇보다 데이터와 알고리즘, 인지 시스템과 그 내용 사이의 장벽을 녹이고 다르게 생각하게 만든다”는 부분을 보니, 13년쯤 전 Prolog가 처음 이해됐을 때의 깨달음이 떠오름
    그때 작은 운율 문장으로 적어뒀음:
    데이터와 연산 사이엔
    갈라놓을 것이 없네
    계산의 가장 낮은 수준을 정의하는 같은 단순한 진실을 찾으려면, 웃기게도 가장 높은 수준까지 올라가야 함. 게임도 멋지고

    • “관찰자가 곧 관찰되는 것임을 마음이 완전히 깨달을 때, 그 깨달음이 일어날 때 새로운 에너지의 해방이 있고, 그것은 ‘있는 것’을 넘어설 것이다”
      —Jiddu Krishnamurti, 1973년 10월 28일 로마 공개 강연
      https://www.krishnamurti.org/transcript/when-the-mind-realis...
    • 보통 이런 깨달음은 Lisp나 Haskell에서 오는데, Prolog라니 흥미로운 경우임

  • 재미있는 사실로, 이 게임 개발자는 Noita라는 또 다른 기술적 경이의 게임도 만들었음
    대부분의 플레이어가 자신이 튜토리얼만 플레이했다는 사실을 모른다는 설명이 가장 잘 어울리는 게임

  • Baba is You는 익스플로잇 작성에 필요한 사고방식을 익히는 입문으로도 비슷하게 좋음

    • Michael Lewis의 “Going Infinite”에 묘사된 Jane Street 채용 과정과 비슷해 보임
      Jane Street는 게임 도중 규칙이 바뀌는 게임에서 지원자가 얼마나 잘하는지 테스트함

  • “WALL” “IS” “STOP”을 아이콘이나 이미지로 바꾸면, 개인적으로는 더 이상 그렇게 흥미롭지 않음
    적어도 Captain Blood가 떠오름: https://www.abandonware-france.org/ltf_abandon/ltf_galeries....
    거기에도 연결된 메커니즘을 가진 기호 시퀀스가 있음. 블록 순서를 다르게 배치하면 다른 결과가 나옴
    오늘 내가 좀 까칠한 걸 수도 있지만, 이 게임이 왜 “심오한지”는 잘 모르겠음
    덧붙이면, 우리가 임의의 기호 묶음에서 의미를 만들고 그 의미를 정할 수 있다는 사실은 오히려 언어가 정말 비어 있고 지능은 언어 바깥에 있음을 보여주는 듯함. 언어는 도구일 뿐임

    • 무슨 뜻인지 잘 모르겠음
      단어를 아이콘으로 바꾸면서도 어떻게 정확히 같은 메커니즘을 유지할 수 있는지, 그리고 같은 메커니즘이라면 단어 대신 아이콘이라고 해서 무엇이 달라지는지 모르겠음
답변달기