LLM이 인간 같은 속성을 가진다면 Age of Empires II도 그렇다

• LLM 연구의 의인화 평가는 모델 출력에 인간 같은 속성을 부여하거나 가정할 때 측정 기준 없이 해석이 표현 방식에 좌우될 수 있다는 문제 제기
• Age of Empires II 안에 단순 신경망을 구현·훈련한 사례는 충분히 강력한 기질(substrate) 이라면 LLM과 동등한 엔티티를 구현할 수 있다는 근거
• 프롬프트와 출력의 대응 같은 일부 속성은 유지될 수 있지만, 지각된 행동의 해석이나 탈의인화 품질은 기질에 따라 달라질 수 있다는 주장
• 일반화된 의인화 속성의 존재나 부재를 전제로 실험하면 결론이 순환적이거나 정보성이 낮아지는 귀결
• 경험적 논의를 위해서는 명시적 측정 기준과 기질 간 일반화 대상의 선언이 필요하며, 기본값은 LLM 비고유성을 가정하는 방식

---

초록

• LLM과 LLM 기반 에이전트 워크플로에 관한 연구가 많지만, 일부 연구는 도덕성이나 자연어 이해 같은 일반화된 의인화 속성의 출현을 말하거나, 그런 속성을 부여하거나, 그런 속성을 가정
• 핵심 목표는 LLM에 그런 속성이 존재하는지 찬반을 논하는 것이 아니라, 그런 결론이 틀릴 수 있음을 보이는 데 있음
• Age of Empires II에서 단순 신경망을 만들고 훈련한 뒤, LEGO나 Greater Boston Area 같은 충분히 강력한 기질의 어떤 엔티티도 그런 속성을 보일 수 있다는 점을 제시
• LLM의 의인화 속성은 경험적으로 고유하지 않으며, 프롬프트에 대한 응답 같은 일부 속성은 일정하게 유지될 수 있어도 지각된 행동의 해석 같은 다른 속성은 기질에 따라 달라질 수 있음
• 경험에 근거한 논의에는 명시적 측정 기준이 필요하며, 그렇지 않으면 해석이 표현 방식에 맡겨지는 구조
• 기질과 독립적인 일반화 속성의 존재 또는 부재를 가정하면, 실험자 관점과 무관하게 순환적이거나 정보성이 낮은 결론으로 귀결
• 기본 가정은 의인화 속성을 전제로 실험을 세우는 대신 LLM 비고유성을 가정하는 ‘null’ 가정
• Age of Empires II가 함수적으로 완전하고 Turing-complete임을 증명

서론

• LLM은 비교적 새로운 기술이지만 널리 쓰이고 있으며, 동시에 충분히 이해되지 않은 대상
• LLM의 능력과 커뮤니케이션 능력 같은 겉보기 인간 속성은 사람들이 LLM을 의인화하게 만드는 요인
• ELIZA 같은 설득력 있는 대화 시스템은 반세기 넘게 존재했지만, LLM 기반 챗봇은 익숙한 출발점에서 설명이 필요한 전례 없는 능력을 가진 엔티티
• 이런 배경 속에서 마음 이론, 학습과 이해, 심리학 같은 영역의 평가가 이뤄졌고 결과는 다양
• 일부 연구는 불안이나 도덕성 같은 포괄적 인간 유사 속성을 LLM에 테스트하고 부여하며, LLM을 실험의 중심 대상으로 설정
• 평가 결과가 긍정적이든 부정적이든, LLM이 의인화 속성을 가진다는 핵심 가정은 테스트 세트 설계, 자연어 출력 해석, 귀무가설까지 실험 계획에 영향
• 그런 가정은 결론에 직접 영향을 미치고 결론을 왜곡할 수 있음
• LLM 연구에서 일반적 의인화 속성의 존재 또는 부재를 측정의 일부로 가정하는 방식은 근본적으로 결함 있는 접근

Age of Empires II와 기질 비고유성

• Age of Empires II 안에 신경망을 구현하고 훈련하는 작업은 LLM 의인화와 무관한 재미있는 연습처럼 보일 수 있음
• 이 구현은 충분히 강력한 기질이라면 LLM과 동등한 엔티티를 구현할 수 있으며, 그런 구현이 LLM의 표현을 바꿔 지각되는 속성에 영향을 줄 수 있음을 즉시 함의
• LLM이 의인화 속성을 어느 정도 모방하는 데 충분히 효과적이라면, 그 모방 또는 관점에 따라 진짜 의인화 행동은 컴퓨터 안에 존재하는 LLM이라는 엔티티에만 특유한 것이 아님
• LLM은 비고유적이며, 다른 기질의 구현은 프롬프트-출력 매핑 같은 일부 속성을 보존할 수 있지만 탈의인화 품질은 보존하지 않을 수 있음
• 그 결과 그런 품질에 대한 지각과 해석은 달라짐
• 경험적 관찰에 기반한 논의에는 명시적 측정 기준과, 어떤 측면이 기질을 넘어 일반화되어야 하는지에 대한 명시적 진술이 필요

가정의 문제와 ‘null’ 가정

• 어떤 과학자가 계산주의적 마음 이론 같은 프레임워크를 해석적 입장으로 받아들이고, 해당 속성이 기질과 무관하게 시스템에 존재할 수 있다고 본다면 결론은 불건전해짐
• 그런 프레임워크를 받아들여 의인화 속성에 관한 일반화된 주장 또는 비일반화된 주장을 만들면, 결론은 순환적이거나 정보성이 낮아짐
• 같은 결과는 그 프레임워크를 거부하는 경우에도 성립
• 일반화된 의인화 속성의 존재나 부재를 증명하거나 반증하는 가설을 테스트하기 위해, 그 속성의 존재나 부재를 먼저 가정하는 방식은 결함
• 이런 실험에서 나온 긍정적 또는 부정적 결론은 해당 주장을 뒷받침하지 못함
• 이 문제는 프레임워크의 타당성, 수용 또는 거부 여부, 프레임워크 선택과 독립적
• 그런 가정은 명시적으로 드러나지 않을 수도 있으며, 예컨대 LLM이 사실적으로 ‘자기 자신을 설명’할 능력이 없다는 논문은 이미 어느 정도의 자기인식을 가정
• 일반화 가능성을 주장하지 않고 이런 가정을 하지 않는다면, 해당 속성은 근사적으로 진실하게 측정될 수 있음
• ‘null’ 가정은 시스템 안 의인화 속성의 존재나 부재에 대해 어떤 진술도 하지 않음으로써 LLM 비고유성을 반영하는 방식

1.1 기여

• 목표는 LLM 안 의인화 속성의 존재 여부, 마음 이론의 타당성, AI와 관련된 의식 또는 심신 문제의 함의를 논하는 것이 아님
• 의인화 속성의 존재 여부 논의에는 잘 정의된 측정이 필요하며, 의식이나 심신 문제와 관련해서는 널리 받아들여진 실험 프로토콜이나 학파가 없음
• 작동하는 Age of Empires II 기반 LLM을 제공하는 것도 범위 밖
• 주된 목적은 LLM 의인화와 관련한 가정과 결과의 정확성에 관한 논의를 촉진하는 데 있음
• 특히 그런 결론을 뒷받침하는 전제인 실험 결과가 해당 속성의 존재 또는 부재 가정에서 나온 경우가 핵심 대상
• 잠재적 반론과 답변, 의인화와 관련한 분야의 작은 메타 리뷰, Age of Empires II의 함수적 완전성과 Turing-completeness 증명도 포함
• 궁극적 목표는 마음과 기계의 관계에 대해 어떤 관점을 취하든, LLM의 의인화 속성 존재를 설득력 있게 지지하거나 반증하는 엄밀한 실험을 만드는 단서 제공

[GN⁺]

Lobste.rs 의견들

• 바보 같은 소리일 수도 있지만 논지를 잘 이해하지 못하겠음. 기초 주장은 꽤 사소하고 FAQ에서도 인정하듯이, 튜링 완전한 계산 환경이면 비디오 게임의 내장 메커니즘을 포함해 어디서든 LLM을 구현할 수 있다는 것임
  그런데 여기서 출발해 LLM을 생각하는 방식에 큰 전환이 필요하다고 주장함. 예컨대 AoE II 안에 LLM을 복사해 “외롭다”를 입력했더니 “안됐다, 친구를 만나보는 게 어때? 이런 상황에는 친밀함이 도움이 돼”라고 답한다고 해서, 그 AoE II-LLM이 무엇이 도움이 되는지 안다거나 진짜 공감 능력이 있다거나 시뮬레이션이라는 본성과 무관하게 출력이 믿을 만하다고 설득하기는 어렵다는 식임
  소프트웨어와 하드웨어 공학에 익숙한 사람으로서의 편향일 수도 있지만, 여기서 인지적 전환은 전혀 느껴지지 않음. “데이터센터의 비디오카드들이 이 토큰을 생성했다”와 “비디오 게임 속 튜링 머신이 생성했다”가 나에게는 다르게 느껴지지 않음
  LLM을 우리의 세계 모델 안에 위치시키기 어렵고 우리가 LLM을 과도하게 의인화하는 경향이 있다는 점에는 100% 동의하지만, 이 논문이 그 문제를 해결하는 데 어떤 기여를 하는지는 모르겠음

  • Searle의 중국어 방 논변을 다시 포장한 것처럼 들리고, 그 논변은 늘 철학적으로 불편했음. 논문도 이를 짧게만 언급하는 듯함
    같은 실수를 하는 것 같음. 중국어 방 안의 사람이나 게임 엔진처럼 시스템이 “그저” 규칙을 따르는 존재임을 보인 뒤, 그래서 지능이나 일반적인 인간적 속성을 부여할 수 없다고 결론내리는 방식임
    하지만 어떤 것을 지능 없는 부품이나 규칙으로 환원한다고 해서, 그 전체가 관찰 가능한 속성을 마법처럼 잃는다는 논증은 성립하지 않는다고 봄
    다만 논문 전체 논증을 다 읽은 것은 아니니, 그냥 인터넷 댓글러일 뿐임

• 아쉽게도 글은 AOE2의 실제 AI를 다루지 않음. AOE2 AI는 CLIPS 기반인데, 이는 RETE 엔진 위의 s-표현식 전문가 시스템이며 지인이 여기에 꽤 깊이 빠져 소개 글, 강의, 심지어 선언형 채팅 서버까지 만들었음
  AOE2 AI 문서는 https://www.scribd.com/document/348253/CPSB 와 https://userpatch.aiscripters.net/reference.html 에 있음. 예시는 여기처럼 규칙 기반으로 전략 조건과 목표를 설정하는 형태임

  • CLIPS는 Magic the Gathering: Arena 팀도 디지털 Magic을 구동하는 규칙 엔진 상당 부분을 만드는 데 사용함

• 초록에 의미가 바뀌는 오타가 있음. “Age of Empires II on”이 아니라 “Age of Empires II in”이어야 함
  논문은 AoE 2에서 신경망을 만들고 학습시켰고, Lego나 Boston도 신경망의 기질이 될 수 있다고 주장하는 것임. 전자의 관련 예로는 Wang tiling이 있고, 후자의 관련 예로는 billiard-ball computers가 있음. 이는 2011년 논문에서 살아 있는 M. guinotae 병정게 떼로 구현해 “crab computers”라고도 불림

• 오늘 AOEII가 튜링 완전하다는 걸 배웠음

  • 튜링 완전성은 기준이 극도로 낮음
  • 시스템에 아주 약간의 복잡성만 추가해도 튜링 완전성 임계값 아래에 머물게 하기가 매우 어려운 경우가 많음. Gwern의 훌륭한 글은 여기에 있음

• 흥미로운 블로그 글이 될 수도 있었는데, 대신 읽기 힘든 허세 섞인 논문이 됐고 아마 세금으로 지원됐을 텐데 아무에게도 도움이 안 됨

  • 다행히 논문 안에 연구비 정보가 없으니, 저자 소속 순서를 보면 거의 확실히 Microsoft가 전액 지원했을 것임

• 이 문단을 읽고, 애초에 읽을 가치가 없을 것 같다는 내 직감을 따르지 않은 게 후회됨
  심리철학 배경이 있고 2장의 인용을 보고 논문이 어떤 논증을 펼칠지 짐작했음. 그런데 다 읽고 나니 이 논문이 도대체 어떤 논증을 하는지 전혀 모르겠음