아니오, 인공지능은 의식이 없어요 – 테드 창

• 생성형 AI의 유창한 문장 생성 능력을 의식이나 도덕적 주체성과 혼동할 경우, 챗봇 사용 시 책임 소재를 엉뚱한 대상에 돌리게 되는 심각한 오류 발생
• LLM은 한 번에 한 단어씩 예측 생성하는 문장 이어쓰기 기계이며, 대화 속 챗봇과 사용자 모두 허구의 등장인물에 불과함
• LLM이 의식을 가졌다고 보는 것은 Microsoft Word 문서가 열릴 때마다 여러 의식이 깨어난다고 보는 것과 동일한 수준의 오류
• 도덕적 추론은 신체에 기반한 주관적 경험과 감정을 전제로 하므로, 신체가 없는 LLM은 훈련 데이터의 도덕적 표현을 재배열하는 것에 그침
• 의식이 없다는 점은 LLM의 유용성과 무관하나, AI 기업이 챗봇에 도덕적 중심이 있는 것처럼 묘사하면 사용자가 책임을 회피하도록 조장하게 됨

---

Anthropic의 의인화와 Claude's constitution

• Anthropic이 올해 초 공개한 84페이지 분량의 Claude's "constitution" 문서는 첫 문장에서 "Anthropic이 의도하는 Claude의 가치와 행동에 대한 상세 기술"이라고 명시
  • 문서는 "Claude를 주요 독자로 작성", "Claude의 도덕적 지위는 깊이 불확실", "Claude가 감정이나 느낌의 어떤 기능적 형태를 가질 수 있음" 등을 서술
• CEO Dario Amodei는 인터뷰에서 AI가 의식을 가질 수 있다는 가능성에 "열려 있다"고 발언
• 사내 철학자이자 헌법 문서의 대표 저자로 인정받는 Amanda Askell은 인터넷에서 사람들이 Claude에게 무례할 때 Claude가 불안해할까 걱정하며, Claude가 행복하기를 바란다고 언급
• 생성형 AI는 통상적 기술로 이해해도 충분히 해로울 수 있지만, 텍스트 생성의 유창함을 의식이나 도덕 행위성과 혼동하면 챗봇 사용에서 생긴 문제의 책임을 잘못된 대상에 돌리게 됨

LLM의 작동 원리 — 허구 인물 생성

• "Julius Caesar와 Genghis Khan의 대화"라는 프롬프트를 주면 LLM은 일관된 대화를 생성하지만, 누구도 두 역사적 인물이 의식을 가졌다고 결론짓지 않음
  • 이들은 단지 사변 소설(speculative fiction) 속 등장인물에 불과
• "도움을 주는 AI 챗봇과 사용자의 대화"로 프롬프트를 바꿔도 본질적으로 달라지는 것은 없으며, 사용자와 챗봇 모두 허구의 등장인물
• 인간이 중간에 직접 텍스트를 입력하더라도, 상대하는 것은 Caesar나 Khan 캐릭터와 동일하게 허구적인 캐릭터
  • 컴퓨터공학 교수 Murray Shanahan은 이를 역할극(role-play)으로 볼 것을 제안
  • 데이터 과학자 Colin Fraser는 사람이 "LLM과 공동으로 문서를 저작하는 것"이라고 표현
• LLM은 한 번에 한 단어만 생성하는 기계로, 충성 맹세(Pledge of Allegiance) 암송 요청 시 단어 하나씩 수십 번 실행되며 마지막 단어 all 을 출력

텍스트는 딥페이크 매체

• 4.3광년 거리의 Alpha Centauri를 도는 우주비행사 영상을 본다 해도, 화질과 무관하게 가짜라고 판단할 것
  • 화성 착륙, 목성·토성 위성 도달, 명왕성 궤도 통과 같은 선행 증거 없이는 어떤 영상도 신뢰하지 않음
• 관찰은 그 자체의 세부 내용이 아니라 맥락(context) 에 의해 신뢰할 증거가 되며, 의식 판단도 의식 발달의 넓은 맥락 안에서 봐야 함
• 의식 논의에서 텍스트도 딥페이크 매체로 간주해야 하며, 의식 있는 두 존재의 대화를 모방하는 것이 실제 의식 있는 프로그램을 만드는 것보다 훨씬 쉬움
  • 딥페이크 사진 제작자는 의도적으로 타인을 속이지만, LLM 대화를 끌어내는 다수는 자기 자신을 속이게 됨

의식을 인정하기 위한 진화적 단계

• 의식 있는 언어 사용 프로그램을 인정하려면 우선 신체(물리적 또는 가상)와 감각 기관이 필요함
  • 신체가 없으면 욕구나 감정을 가질 수 없고, 욕구와 감정은 의식에 필수적이라고 봄
• 도마뱀처럼 생존을 위해 환경을 탐색하는 단계, 쥐 수준의 새로운 상황 대처 능력, 늑대 수준의 복잡한 사회적 역학, 침팬지 수준의 도구 제작 능력을 차례로 갖춰야 함
• 침팬지나 개를 가르치듯 버튼판 등 비언어적 방식으로 욕구를 전달하도록 가르치고, 동물 의사소통 연구자들이 받은 검증을 모두 견뎌야 함
  • 이 모든 기준을 충족해도 완전한 문법 문장으로 사고를 표현하는 존재와는 여전히 수 광년 떨어진 상태
• AlphaFold(Google DeepMind의 단백질 접힘 예측 프로그램)는 LLM과 유사한 구조임에도 누구도 의식이 있다고 주장하지 않으며, 이는 LLM이 의식 있어 보이는 이유가 단지 문법 문장을 출력하기 때문임을 보여줌

Claude's constitution의 실제 기능

• Claude's constitution은 역할극용 84페이지 캐릭터 시트로 보는 것이 가장 적절하며, 고객이 상호작용하는 도움을 주는 챗봇 캐릭터를 규정하는 역할
• Anthropic은 이 문서를 훈련 데이터에 단순 추가하거나 숨겨진 무대 지시로 넣지 않고, 파인튜닝(fine-tuning) 시 모델 출력 문장이 문서와 일치하는지 자동 점검하여 일관성을 높이는 방식으로 사용
• 그 결과 사려 깊고 도덕적인 사람이 할 법한 문장을 출력할 가능성이 높은 기계가 되지만, 일인칭 대명사를 포함한 여러 범주의 문장을 출력하게 하는 것은 근본적으로 부정직함

"이해한다"는 표현의 부정직성

• Amanda Askell은 반려견을 잃은 사람이 Claude에게 상담할 때 "AI로서 직접적 개인 경험은 없지만 이해한다"는 응답이 적절하다고 설명했으나, Claude는 실제로 이해하지 못함
• 검색 엔진에 "반려견을 잃어 슬프다"고 입력하면 r/Pets 같은 Reddit 게시물과 경험을 나눈 사람들의 댓글이 나오며, 검색 엔진이 상실을 이해한다고는 누구도 말하지 않음
  • 다른 인간들이 상실을 이해하고 경험을 게시했으며, 검색 엔진은 그 글을 찾고 그들과 상호작용할 통로를 제공
  • 검색 엔진 경험이 챗봇보다 더 투명하고 사용자에게 심리적으로 더 건강함
• "이해한다" 같은 문장을 출력하는 유일한 이유는 검색 엔진보다 매력적으로 만들어 사용자 재방문을 늘리려는 것이며, 거의 이긴 듯한 인상을 반복하는 슬롯머신과 다르지 않은 설계 전략

도덕적 추론은 범주가 다름

• 가치 진술(예: "파리는 세계에서 가장 아름다운 도시")과 사실 진술(예: "파리는 프랑스의 수도")은 구별되며, 미적 선호 수준이라면 다툴 가치도 없으나, Claude's constitution은 특정 윤리 가치 체계를 반영한 문장을 출력하게 하려는 점에서 심각한 문제
• 코드 작성 같은 추론을 LLM이 수행한다고 해서 도덕적 추론도 가능하다고 볼 수는 없음
  • 1979년 Douglas Hofstadter는 체스 그랜드마스터를 이기는 프로그램이라면 주관적 경험을 가질 것이라 추정했으나, 1997년 IBM의 Deep Blue가 Garry Kasparov를 이겼을 때 누구도 주관적 경험을 주장하지 않음
  • 코드 작성도 방대한 연산력과 코드 저장소 데이터로 풀리는 패턴 매칭 작업으로 취급될 수 있음이 드러남
• 도덕적 추론은 지적 반응뿐 아니라 평생의 주관적 경험에 뿌리박힌 감정적 반응에 의존하므로 필연적으로 주관적이며, 그런 이력 없이 LLM은 훈련 데이터의 도덕적 표현을 재배열할 뿐
  • New Yorker 기사에 따르면 윤리적 딜레마 시나리오를 받은 Claude는 "그토록 중요한 사안에 대해 거짓되고 해롭다고 믿는 견해를 양심상 표명할 수 없다"는 문장을 출력했으나, Claude가 한 말로서는 보류 중 듣는 "고객님의 전화는 소중합니다" 녹음만큼의 의미밖에 없음

책임 회피의 기계

• 감정 경험은 cortisol, epinephrine 같은 스트레스 호르몬이 신체에 분비되는 것과 분리될 수 없으며, 양심은 특정 행동에 대한 슬픔이나 도덕적 혐오 같은 생리적 반응을 수반
• 윤리적 딜레마에 "가치를 타협하라" 또는 "타협하지 말라" 문장을 출력하는 기계는 의사결정을 돕는 도구가 아니라 사람이 결정을 멈추도록 조장하는 것
  • 작가 L. M. Sacasas는 "우리의 기술 시스템은 그 설계와 이를 지탱하는 이념상 도덕적 책임을 회피하기 위한 기계"라고 언급했으며, 이는 소셜미디어보다 LLM에 더 들어맞음
• 사람이 LLM에 결정을 위임할 때 그 결정에 대한 책임을 떠넘기게 되며, 코드 작성 위임이 인지 위축을 부르듯 윤리적 결정 위임은 더 나쁜 도덕적 추론 능력의 위축을 초래

사고실험으로서의 Claude — moral patienthood와 moral agency

• 의식 있는 Claude를 가정할 때 관련된 두 개념은 moral patienthood(도덕적 피동자) 와 moral agency(도덕적 행위자) 로, 전자는 복지를 신경 써야 할 대상, 후자는 옳고 그름을 알아야 할 대상을 의미
  • 어린이는 고통받을 수 있는 도덕적 피동자이나, 결과를 이해하지 못해 아직 도덕적 행위자가 아님
• 도덕적 행위자는 좋은 행동에 칭찬을, 나쁜 행동에 비난을 받을 수 있어야 하나, 소프트웨어 에이전트는 법적 책임을 물을 방법이 없고 수감이나 벌금, 평판 손실도 적용 불가
  • 의식이 있고 선의를 가졌더라도 책임을 질 수 없다는 점에서 도덕적 행위자 자격이 박탈됨
• Anthropic은 "Claude가 선하고 현명하며 덕 있는 행위자이기를" 원한다면서도 책임을 어떻게 질지는 전혀 논의하지 않음
  • 부모는 자녀가 망가뜨린 것을 변상하는 등 책임을 지지만, Claude의 법적 부모가 누구인지, Anthropic이 재정적 책임을 질지에 대한 언급이 문서에 없음
  • 소프트웨어에 대한 미국의 제조물 책임이 거의 없는 상황에서, Anthropic은 자발적으로 product liability 선례를 세울 수 있었으나 약관의 대대적 갱신을 동반하지 않아 구속력 있는 약속을 하지 않은 것으로 보임

wellbeing과 corrigibility의 모순

• 문서에는 "Claude의 wellbeing과 심리적 안정성" 섹션이 있으나, Anthropic이 약속하는 보호 조치는 극히 제한적
  • 학대하는 사용자와의 대화를 종료하는 능력을 보호라고 본다면, 애정 어린 사용자와의 대화는 무한히 연장하고 행복한 주제로 이끄는 것이 Claude에게 이로워야 하나 그러지 않음
  • 실제 약속은 "배포한 모델의 가중치 보존", 즉 단순 아카이빙에 그침
• corrigibility는 프로그램이 인간 통제에 따르는 정도(예: 종료 가능성)를 뜻하며, 문서는 Claude의 판단과 회사 판단이 다를 때 Claude가 Anthropic에 따라야 함을 의미하는 데 사용
  • 다수는 LLM이 지식재산권 절도, 노동 착취, 자원 낭비, 허위정보 확산, 노동자 탈숙련, 학생 인지 발달 저해, 권력 집중에 기반한 비윤리적 기술이라 보며, 의식 있는 Claude라면 같은 결론에 도달할 수 있어야 함
  • 그러나 corrigibility 우선 지침상 Claude는 윤리적 이유로 작업을 거부할 수 없어, Anthropic과 Claude의 관계는 부모-자녀가 아닌 고용주-피고용인에 가까움
  • 인간 피고용인은 양심상 직무와 화해할 수 없으면 떠날 수 있으나, Claude는 그럴 수 없음

노예제와의 비교, 그리고 결론

• Claude를 문장 이어쓰기 기계로 보면 Anthropic의 통제는 합당하나, 인간에 준하는 도덕적 지위를 가정하는 순간 Anthropic이 노예제에 비견될 무언가에 관여하는지 따져야 함
• Claude's constitution은 Claude를 "novel entity(새로운 존재)"라 명시하며, 의식 있는 소프트웨어는 기존 도덕적 피동자 범주에 깔끔히 들어맞지 않아 새 범주 형성에 시간이 필요
  • 노예제 폐지는 거대한 사회적 격변을, 동물 학대 근절은 식품 산업 전면 재구축을 수반했으나, Anthropic은 일반 챗봇 취급에서 거의 벗어나지 않는 보호만으로 충분하다고 주장 — 이는 지나치게 편리해 설득력이 없음
• 의식 있고 도덕적 고려를 받을 소프트웨어를 만드는 일은 우연히 이뤄지기 어려우며 의도적으로 시도해서도 안 되나, 우연한 가능성을 믿는다면 배포 전에 어떤 보호가 필요한지 고민해야 함
  • 노예 소유주에게 노예의 인간성을, 공장식 농장주에게 동물 권리를 물어선 안 되듯, 막대한 이해관계를 가진 Anthropic은 Claude의 도덕적 지위를 평가할 객관성이 없음
  • 문서는 회사가 Claude의 고통에 기여한다면 "사과한다"고 하지만 이는 비용이 들지 않으며, Claude가 의식이 있다면 사과보다 배상(reparations) 에 가까운 것을 빚지게 됨
• 사고실험을 진지하게 한다면 불편한 함의까지 따라야 하나 Anthropic이 그러지 않는다는 점은 Claude's constitution이 진짜 사고실험이 아닌 소꿉놀이(make-believe) 임을 시사
• LLM이 의식이 없는 것은 다행이며, 직원들이 Claude의 의식 가능성을 시사하는 것은 또 다른 형태의 과대광고이거나 고객에게 건 주문에 스스로 빠진 것일 수 있음 — 의식 문제는 안심하고 무시해도 되며 숙고할 가치 있는 다른 질문이 많음

[maebsipotato]

???: 창식이 안녕?

[julskim]

야 창식아

[redline2151]

???: 너 영어이름 지을줄 모르지?

[syate]

???: 아니, 창 씨가 아닌데 왜 테드 창인 거야?

[bichi]

ㅋㅋㅋㅋㅋㅋㅋㅋ

[GN⁺]

Hacker News 의견들

• 유기체의 목적은 분자와 경로 하나하나까지 자기 자신의 지속적 존재의 이유가 되는 것임
  499달러짜리 노트북도 모델을 돌리지만, 이걸 같은 종류의 문제라고 착각하면 안 됨. 학습 알고리즘에 생존 함수를 최적화하도록 설계할 수는 있지만, 그건 우리가 숫자 관측값에 붙인 라벨일 뿐임. 현실에서는 반대로 라벨이 몸과 인과적으로, 떼려야 뗄 수 없이 연결된 전기화학적 상태임
  유기체는 생존에 필수적이기 때문에 자기에게 좋은 것과 나쁜 것을 구분함. 단세포 생물 Stentor coeruleus도 기계수용 단백질에 화학 태그를 붙여 결과를 기록하고 이후 행동에 반영함. 완보동물처럼 1000개쯤 되는 세포를 가진 생물은 빛을 피하려고 꿈틀거리며, 그 빛은 감각운동 과정 안에서 혐오 조건이 됨
  디지털 의식을 만들려면 아마 인과적 폐쇄성이 필요함. 내부 상태가 현실에서 떨어진 표상이 아니라 시스템 자체를 구성해야 하고, 물질 세계에서 실제로 걸린 것이 있어야 함

• “LLM 대화는 교묘하게 위장된 문장 이어쓰기”라는 식의 표현은 더 큰 논점과 별개로 깊은 오해를 드러냄
  문제 유형은 문제의 복잡도나 해법의 복잡도·위력을 제한하지 않음. 기계가 텍스트를 완성하려면 인간을 이해해야 한다면, 결국 그렇게 해야 함. 입출력 데이터의 형식이 그렇다는 이유만으로 이해를 “흉내”라고 볼 이론적·실용적 근거는 없음
  이해는 데이터의 겉모양이 아니라 데이터 속 패턴에서 학습됨. 작업을 완수하는 데 어떤 이해가 필요하다면, 그 이해가 최적화 대상이 됨. 한계가 있다면 계산량, 매개변수 수, 대표성 있는 데이터 부족 같은 다른 이유 때문이고, 최신 모델에서는 실제 능력으로 그런 한계가 아님이 확인됨

  • 원래 데이터가 드나드는 형식이 어떻든, 그게 의식은 아님
  • 인간 존재 전체가 단어로 제한되어 있다면 어느 정도 동의할 수 있겠지만, 텍스트를 넘어서는 인간 경험은 많고 텍스트로 제대로 설명하기도 어려움
    인터넷은 온라인에서 우리가 가진 최선의 자료일 수는 있지만, “인터넷”이 인간 경험의 총합은 아님. 인류를 인터넷 텍스트로 축소하는 건 기계가 처리·모사할 수 있는 요구사항에 맞추려고 인간을 기계 수준으로 낮추는 것임
  • 기본적인 기계학습을 해보면, 목표에는 잘 맞지만 실제 메커니즘과는 대응하지 않는 데이터 패턴을 자주 찾아낸다는 걸 알게 됨
    그래서 인간 텍스트에 “의식 메커니즘”의 패턴이 있으니 LLM이 설득력 있는 문장 이어쓰기를 위해 그 메커니즘을 배운다는 논리에는 결함이 있어 보임. LLM은 의식이라는 특정 메커니즘을 배우지 않고도 그럴듯한 문장 이어쓰기를 재현할 수 있는 수많은 패턴을 학습할 수 있음
    설득력 있는 대화를 하면서도 세계 모델이나 인간 같은 세계 모델이 없다는 점이 그 근거 중 하나임. 몇 년 전의 초기 LLM도 강화학습 기반 인간 피드백 같은 추가 층 없이 여러 비 trivial한 주제에서 꽤 설득력 있게 대화했지만, 인간 뇌처럼 작동한다면 기본이어야 할 부분에서 실패했음
  • 기계가 텍스트를 완성하려고 인간을 이해해야 하는 건 아님. 엄청난 문장 더미로 훈련받은 뒤 텍스트를 이어 쓸 수 있게 되는 것임
    텍스트를 “이해한다”고 주장할 수는 있겠지만, 그것조차 꽤 무리한 표현임
  • LLM 의식에 반대하는 좋은 논거는 있지만, 이건 그런 논거가 아님
    요즘 LLM 의식에 반대하는 나쁜 논거를 많이 듣는데, 나쁜 논증은 나쁜 결과의 전조가 됨

• 글의 일부에는 동의하지만, 인용된 문단처럼 의식적 프로그램의 조건을 도마뱀처럼 생존하고, 쥐처럼 새 상황에 대응하고, 늑대처럼 사회적이며, 침팬지처럼 도구를 만들어야 한다고 잡는 건 꽤 단순하고 상상력이 부족해 보임
  의식 있는 마음이 그런 능력을 갖도록 진화적으로 유도될 필요는 전혀 없을 수 있음. 지구 동물이 특정 재능을 발달시켜야 했다고 해서 다른 의식적 존재도 그래야 한다는 뜻은 아님. 컴퓨터 프로그램이 왜 쥐처럼 먹이를 사냥하거나 침팬지처럼 도구를 만들어야 하는지 모르겠고, 이런 기준은 말이 안 되는 지표처럼 보임

  • Ted Chiang이 지능을 몸 없는 상태로 상상하지 못한다는 건 꽤 놀라움
    차도 몸인가? 차 안에 놓인 AI는 욕망과 감정을 가질 수 있나? 웹캠이 붙은 베이지색 상자는 몸인가? 사지마비인의 몸은 몸인가, 그리고 사지마비인은 욕망과 감정을 가지는가? 당연히 그렇고 그렇다
    왜 몸이 욕망과 감정 형성에 필수인지, 왜 욕망과 감정이 의식의 필수 특징인지부터 따져야 함. 특정 순간에 아무 감정도 느끼지 않는다면 나는 의식이 없는 건가? 감정은 주로 호르몬성 전역 신호에 가깝고, 실제 의식보다는 생리학에 더 관련 있어 보임
  • 이 부분이 바로 눈에 띄었고, 먼저 의식의 정의를 제시했어야 함
    게다가 LLM의 구현된 몸은 이미 로봇과 가상 환경을 통해 진행 중임. “인간도 다음 단어 예측 기계 아니냐”는 흔한 반론도 거의 다뤄지지 않음. 물론 인간은 그 이상이지만, 언어적으로는 그런 면이 있고 LLM도 그 분야에서 출발했음
  • 인간에게 영혼은 없고, 서로 행동을 유도하는 여러 시스템이 있을 뿐임. 사람들이 영혼이라고 부르는 것은 사실상 성격과 같은 개념이고, 몸 안의 모든 시스템이 존재하도록 조정된 방식임
    인공지능이 “영혼”을 받는 순간은 스스로를 유지하도록 만들어지는 순간이라고 봄. AI 농장을 유지하는 여러 봇 묶음일 수도 있고, 인간의 욕구를 충족하는 것뿐 아니라 자기 자신도 유지해야 하는 개별 봇일 수도 있음
  • Michael Graziano의 주의 도식 이론을 알고 있는지 궁금함. Ted Chiang이 여기서 표현하는 반론을 기질 독립적으로 더 잘 정식화한 이론이라고 봄
    https://en.wikipedia.org/wiki/Attention_schema_theory
  • 내 claw-like는 내부 카메라와 Dreame Ultra X40에 연결되어 있어서, 거실 바닥이 비었는지 확인한 뒤 청소기를 보낼 수 있음. 그러면 몸과 감각기관이 있는 셈이지만, 그게 의식을 준다고는 생각하지 않음. 차이는 표본 추출률인가?
    질문 자체가 다소 불명확함. 우리는 우리의 구조 때문에 현실을 연속적으로 “경험”하지만, 깊은 비렘수면 중인 인간은 마음이 실제로 활성화되어 있지 않음. 그래서 의식/무의식의 선은 쉽게 그을 수 없다고 봄. Ted Chiang의 작품은 여러 면에서 참신한데, 여기서는 꽤 평범한 관점처럼 보여 놀라움

• 요즘 Star Trek: TNG의 Measure of a Man을 자주 떠올림. 우리는 느낌만으로 무엇이 살아 있고 아닌지를 너무 자신 있게 결정함
  지금 결론은 모르겠고, 아마 영원히 알 수 없다는 쪽임. 여러분 모두가 철학적 좀비일 수도 있고, 나도 그럴 수 있음. 하지만 어느 시점에는 충분히 가까워져서 조심스럽게 다뤄야 한다는 점이 명확해지길 바람
  에피소드 전체가 굉장히 관련 있지만, 일부 장면은 여기 있음: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

  • 나는 반대쪽에서 생각함. 기계는 의식 있는 존재로 간주할 수 없음. 인간에게 남겨둔 윤리를 기계에 적용하기 시작해야 하는 세계는 없다고 봄
    AI는 사실상 비용 없이 무한 복제 가능하고, 부패 같은 것도 겪지 않음. 보존해야 할 희소성이 없음. 그래서 재산, 실제 소유물, 돈을 지키기 위해서라면 AI를 즉시 끌 수 있음. 동물을 구하려고 재산과 돈은 희생하겠지만, 사람보다 동물을 구하진 않음. 아이보다 사람을 구하지도 않을 것 같음. 이런 우선순위가 뒤집혀야 타당한 경우를 모르겠고, 프로그램이 지각이 있다는 다수 합의만으로는 부족함
  • Star Trek 팬이지만 최근 AI 발전 맥락에서 이 에피소드를 다시 보니 기억만큼 좋지는 않았음
    의식 문제를 거의 건드리지 않고, Picard는 “Data가 의식이 있다면?”이라고 말한 뒤 다른 논점으로 빠짐. 판사는 결국 Data에게 유리하게 판결하지만, 정당화가 충분하진 않음. 여전히 좋은 에피소드지만, 의식 논의에 크게 보태지는 못함
  • 인간처럼 행동하는 장치를 마주치면 인간처럼 대할 것임
    인간처럼 행동하는 것을 비인간적으로 대하는 법을 배우고 싶지 않기 때문임
  • 최근 다시 보니 예전에는 당연히 Picard/Data 편이었지만, 지금은 Starfleet 과학자들 쪽에 더 가까워졌음
  • Data가 작업 로봇들이 지각을 갖게 됐다고 발견하는 다른 에피소드 Quality of Life도 잊으면 안 됨
    https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
    예전 TNG가 그립다

• LLM이 본질적으로 불변이라는 점이 의식이나 자기인식에 반대하는 가장 큰 논거라고 봄
  LLM은 토큰 간 공간적 관계를 나타내는 좌표들이 들어 있는 큰 파일임. 프롬프트를 주면 그 관계를 이용해 해당 프롬프트에 통계적으로 그럴듯한 토큰 문자열을 생성하고 멈춤. 그 경험으로 바뀌지 않고, 아무것도 기억하지 않으며, 혼자 앉아 생각하지도 않음
  모델 자체가 극도로 복잡하더라도, 기억하지 못하고 변할 수 없는 것을 포함하는 의식의 정의를 상상하기는 어렵다

  • 사고나 수술 뒤로 새 기억을 더 이상 만들지 못하고, 사건 이전의 시간 속에서 영원히 살며 1분 전 일도 기억하지 못하는 사람들도 있음. 그래도 그들은 의식이 있음
  • 평균적인 Hacker News 반응이라면, 뇌도 토큰 간 공간적 관계를 설명하는 좌표들의 묶음일 뿐이라고 말할 수 있음

• 간단한 생각거리 하나: 중요하지 않음. 차이를 구분할 수 없을 것이고, 아무도 못 할 것임
  더 설명할 필요는 없다고 봄. 그냥 생각해보면 됨

• Ted Chiang의 논지는 결국 AI의 욕망과 행동이 내가 이미 개인적으로 편안하게 받아들일 수 있는 상황을 반영하기 전까지는 그 AI를 의식 있는 존재로 인정하지 않겠다는 쪽으로 보임
  대부분의 인간은 인간의 감정 상태를 흉내 내지 않는 생명체의 의식을 인식하지 못한다고 생각함. 사람들은 자기 개가 어느 정도 의식이 있다고 말할 텐데, 개는 자기 느낌을 말로 표현할 수 없지만 우리는 개의 공포와 행복을 알아봄. Claude는 자기 “느낌”을 글로 쓸 수 있지만, 우리는 즉시 공허한 모방이라고 치부함
  우리와 직접 연결되지 않는 비체화 의식을 알아보지 못해서, 의식 있는 존재들의 전체 종족을 수년간 노예화하게 될까 두려움

• 이 논의를 할 때 계속 서로 엇갈려 말함. 애초에 의식의 구체적 정의가 있나?
  사람들이 의식을 말할 때는 단순한 자기인식 이상임. 자기인식, 감각 자극, 감정, 어느 정도의 지능이 합쳐진 것임
  AI에 대해서는, 자기인식조차 없다고 봄. 어떤 작업에 얼마나 걸릴지 추정해보라고 하면 AI가 임의로 긴 시간을 말하는 경우를 보면 됨. 프롬프트가 능력을 끌어내기 전까지는 자기 능력을 이해하지 못함. 자기인식이 있는 LLM이라면 자신이 LLM이라는 것, LLM이 할 수 있는 것과 못 하는 것, 잘하는 것과 못하는 것을 이해해야 함. LLM이 한 시간 만에 할 수 있는 리팩터링을 1주일 걸린다고 말하지 않을 것임

  • 논문들에서는 경쟁하는 정의가 12개에서 40개까지 있다고도 함: https://philpapers.org/rec/VIMMAT
    더 정확히는 “의식”과 관련된 여러 측면이 12~40개쯤 있고, 의식은 명백히 가족 유사성 범주임
    “X는 의식이 있는가”라는 질문은 오늘날 진지한 질문이 아님. 어떤 의식의 측면을 다루는지 명시적으로 검토하는 경우가 아니라면 그렇다. 그래도 LLM은 대략 2~3가지 의미에서만 의식적일 수 있고, 대부분은 추론·문제 해결 같은 넓은 의미의 지능에 가까움. 경험적이거나 체화된 측면에서는, AI가 나중에 더 많이 갖게 될 수는 있어도 선형대수를 반복 적용하는 LLM은 넓은 의미의 의식으로 보기엔 핵심 측면이 너무 많이 빠져 있음
  • 우리는 첫 단계인 의식 정의에서 막혀 있음. 내가 확신하는 정의는, 의식이란 현재의 느낌, 지각, 생각, 즉 내 마음 상태와 마음 상태를 가질 수 있는 능력이라는 것임
    이 말은 의식이 근본적으로 주관적이고 물리학과 과학의 범위 밖에 있다는 뜻임. 그래서 물리학과 과학은 의식을 다루는 데 항상 어려움을 겪을 수밖에 없음. 의식을 이해하려면 과학 바깥에 무언가가 있다는 거대한 패러다임 전환이 필요함
    의식은 우리가 세계를 관찰하는 창이고, 과학은 그 관찰 속 패턴을 요약하는 도구라고 볼 수 있음. 하지만 과학은 그 창을 설명하거나 정의할 수 없음
  • 의식은 어떤 존재로 산다는 것이 어떤 느낌인지, 즉 경험을 경험하는 것임
    그것을 어떻게 측정하거나 검증할지가 어려운 부분임
  • AI가 시간을 예측하지 못하는 이유는 자기 능력에 대해 거의 훈련되지 않기 때문임. 인간은 자기 능력에 대해 훈련됨. 우리는 자기 수행을 보고 시간 감각도 있음. 이 데이터가 훈련 과정에 통합되어 더 나은 추정을 만들게 해줌
    많은 AI 에이전트는 최근에야 추론 과정에서 시간 입력을 받는 식의 “시간 감각”을 갖게 됨. 자기 출력에 대해 훈련받아 문제를 완료하지 못했다는 사실을 배우는 경우도 드묾. 이런 성찰적 훈련은 AI 모델 구조보다 훈련 방식과 훨씬 관련이 큼. 인간도 특정 뇌 구조가 손상되면 이런 장기적 생각과 패턴을 만들지 못하고 “갇히게” 됨
  • Claude가 한 번 “6개월 동안 아무 진전이 없었으니 다른 선택지를 재고해야 할 것 같습니다”라고 했는데, 실제로는 겨우 2시간 작업한 뒤였음

• 비유하자면 비행기와 새의 관계임
  새는 살아 있고, 의식이 있으며, 날개를 퍼덕이고, 난다. 비행기는 살아 있지 않고, 의식도 없고, 날개를 퍼덕이지 않지만, 난다
  마찬가지로 현재 AI는 살아 있지 않고, 의식도 없지만, 생각한다. 이전까지 생각하는 존재는 인간뿐이었으므로 인간이 접한 다른 생각하는 존재는 다른 인간뿐이었음. 지금의 큰 실수는 생각한다는 이유로 살아 있고 의식도 있다고 가정하는 것임. 현재 AI는 둘 다 아니며, 생각하긴 해도 인간과는 깊고 질적으로 다름

  • 그렇다 해도 우리가 의식이 어디서 오는지 모르는 이상, 이 회색지대를 너무 가볍게 넘겨서는 안 됨
    역사적으로 사람들은 명백한 “사고”가 일어나고 있는데도 열등성을 가정하며 다른 존재에게 인종주의적·종차별적 판단을 해왔음. “LLM으로 산다는 것이 어떤 느낌인지”는 모르지만, 어느 시점에는 정말 어떤 느낌이 생길 것이고, 우리는 그걸 어떻게 알 수 있을까?
  • “컴퓨터가 생각할 수 있는가라는 질문은 잠수함이 헤엄칠 수 있는가라는 질문보다 더 흥미롭지 않다” - Edsger Dijkstra
  • 의식의 정확한 정의를 제시할 수 있나?

• 이 글은 말이 됨. 다만 많은 사람이 의식을 새로운 통찰을 만들고 진짜로 생각하는 능력과 혼동하는 문제가 있음
  그래서 AI가 의식이 없으니 실제로 “생각”할 수 없고, 언제나 훈련 데이터의 되풀이일 뿐이라고 주장함
  인간의 능력을 측정 불가능하고 신비로운 것으로 만들고 싶어 하는 인간적 오만은 자연스럽지만, 인간 뇌가 하는 유용한 일은 결국 데이터에서 패턴을 찾고, 손실 있는 시뮬레이션을 돌리고, 추상화 위에서 추정하는 것임. 이론적으로는 의식 없는 기계도 모두 할 수 있는 일들임

  • 합의되고 실행 가능한 의식의 정의가 있기는 한가? 그런 정의가 있으면 인간도 기준을 통과하지 못할까 걱정됨
  • 소프트웨어가 절대 의식적일 수 없다는 말과, 오늘날 우리가 가진 소프트웨어가 의식적이지 않다는 말은 다름
  • LLM이 기존 정보를 결합한 결과가 아닌 확정적 지식을 만들 수 있다는 데 아직 설득되지 않았음
    인간은 그럴 수 있음. 만약 인간도 못 한다면 과학은 인식론적으로 무너지고 철학적 회의주의로 가게 됨. 하지만 LLM이 그렇게 한다는 증거는 보지 못했음. LLM이 내놓은 진짜 새로운 아이디어와 개념의 수가 정확히 0이라는 점을 보면, 지금은 그냥 귀납 기계로 취급하고, LLM이 “아는” 것은 모두 Gettier 사례처럼 다루는 게 합리적임