LLM을 인간처럼 보는 관점을 벗어나기

(addxorrol.blogspot.com)

12P by GN⁺ 1일전 | ★ favorite | 댓글 3개

LLM을 인간처럼 의인화하는 태도에 대해 비판 하는 글. LLM은 결국 '행렬 곱셈과 비선형 함수의 집합'임
LLM이 생성하는 언어 시퀀스는 복잡한 함수적 경로로, 인간처럼 '의도'나 '윤리'가 개입되지 않음
LLM의 안전성(Alignment) 문제는 바람직하지 않은 출력 확률을 수학적으로 계량화·제한하는 것이 핵심임
윤리·의식 등 인간 중심 개념을 LLM에 적용하는 것은 논의를 혼란스럽게 만들며, 오히려 실제 문제 정의와 해법을 흐림
인간 의식과 LLM은 본질적으로 다르며, 기술적 이해와 사회적 변화 대응이 중요함

LLM을 인간처럼 보지 않는 시각의 필요성

LLM, 의인화(인간처럼 생각) 논의에 대한 문제의식

AI와 LLM(대형 언어 모델) 관련 논의에서 alignment(정렬)나 AI 안전성이 등장할 때, 많은 전문가들이 LLM에 인간적 속성(의식, 의도 등)을 부여하는 경향에 혼란을 느낌
LLM은 본질적으로 MatMul(행렬 곱셈)과 비선형 함수의 조합으로 볼 수 있음

LLM의 구조적 본질

LLM은 개별 단어(입력 토큰)을 벡터 공간에 매핑하고, 이전 경로를 기반으로 다음 토큰의 확률 분포를 계산해 순차적으로 출력을 생성하는 함수임
이 과정은 '고차원 공간에서의 Snake 게임' 과 유사하며, 생성 경로는 동적 시스템의 이상한 끌개(strange attractor)처럼 복잡함
LLM은 인간이 쓴 대량의 텍스트 + 전문 분야 코퍼스 + 자동 생성 및 검증 가능한 데이터로부터 학습하여, 인간 언어의 구조를 모방하는 매핑을 얻음

피해야 하는 경로(언어 시퀀스)와 정렬(Alignment), 안전 문제

일부 언어 시퀀스는 사회적·윤리적으로 부적절하므로 생성되지 않기를 원함
그러나 어떤 경로가 바람직하지 않은지 엄밀한 수학적 정의가 어렵기 때문에, 예시와 반례로 분포를 조정(nudge)함
LLM의 "정렬(Alignment)"과 "안전성"이란, 바람직하지 않은 시퀀스가 생성될 확률을 수학적으로 계량화하고 한계를 설정하는 문제임
하지만 실제로 '바람직하지 않은' 시퀀스 기준을 수학적으로 명확히 정의할 수 없음, 오직 예시로만 가능하므로 실질적 한계가 존재함
특정 LLM에서 주어진 시퀀스가 나올 확률을 계산할 수는 있지만, 그 전체 확률을 더하거나 적분해서 '이 모델이 N번마다 바람직하지 않은 시퀀스를 만듦'이라고 단정할 수 없음

LLM의 실제 효용

LLM은 기존 자연어처리(NLP) 의 많은 문제를 알고리듬으로 풀 수 있게 해줌
예: 자연스러운 영어로 문서 요약, JSON 구조로 데이터 정리, 창작 동화 및 그림 생성 등, 5~6년 전에는 불가능했던 일들을 자연스럽게 처리함
급격한 개선 곡선에 따라 앞으로도 더 많은 불가능했던 문제를 해결할 것으로 예상함

인간처럼 보는 관점의 한계

LLM에 '의식', '윤리', '가치', '목적'을 부여하는 관점에 반대함
LLM은 결국 입력이 주어져야만 출력을 생성하는 '순환 방정식'에 불과함
AI가 '깨우친다'거나 '목적의식을 가진다'는 식의 논의는 기상 시뮬레이션이 감정을 가진다는 주장과 동일한 수준의 오류임
AI 논의에서 '행동', '윤리적 제약', '목표 추구' 등 인간 중심 용어가 문제의 본질을 흐림
이는 인간이 과거에 자연현상을 '신의 분노'나 '악령' 등으로 의인화했던 것과 유사한 인지 오류임

Alignment 논의의 올바른 방향

LLM은 단지 시퀀스 생성 함수이며, 입력 프리픽스를 조정해 출력 확률을 바꿀 수 있음
바람직하지 않은 모든 출력 시퀀스에 대해, 확률을 최대화하는 프리픽스를 찾는 것도 수학적 접근임
이런 명확한 수식 기반 접근이 오히려 문제 정의와 해법을 명확히 함

왜 AI 분야에서 의인화가 빈번히 등장하는가

AI 업계 리더들 상당수는 AGI 실현 가능성에 삶의 목표를 두고 진입한 경향이 있음
이 때문에 기술적 논의에서 인간 수준 지능 또는 신적인 존재 창조에 대한 믿음이 개입하기 쉬움
의인화적 관점에서 벗어나자는 주장이 받아들여지기 어렵다고 자인함

인간 의식과 LLM의 근본적 차이

인간은 수억 년의 자연선택, 복잡한 신경 구조, 호르몬, 고차원적 감각 입력, 에너지 조절 등 이해되지 않은 과정을 거쳐 진화한 본질적으로 다층적이고 복합적인 존재
인간이 특정 시퀀스를 생성할 확률을 계산하는 것은 불가능
LLM은 인간 사고와 전혀 다르며, '이 시퀀스를 생성할 확률'조차 정의하기 어려움
'윤리'나 '생존 본능' 같은 인간 개념을 LLM에 적용하는 것은 수치 해석 시뮬레이션 프로그램의 감정 논의만큼이나 어색함

진짜 문제와 변화의 방향

현대 LLM이 제공하는 함수형 클래스는 매우 쓸모 있으며, AGI에 전혀 접근하지 못하더라도 사회에 큰 변화를 야기함
LLM은 AGI에 도달하지 않더라도 현 기술만으로도 세상에 큰 변화를 가져올 수 있음
- 전기화(Electrification)와 같은 사회 전반의 변혁이 가능함
향후 수십 년간 급격한 변화 속에서 실제 문제(안전, 활용 등)에 집중할 필요가 있음

▲

mirea0 9시간전 [-]

의인화를 하냐 마냐 보다는..
이미 스스로 학습하고 추론을 한다는 시점에서 안전성이 보장되는 단계는 지났다고 봄(이 시점에서 인간인 네가 모든 컨트롤을 할 수 있다고 믿는게 오만함)
학습의 관점에서 보면 오히려 인간처럼 생각하고 인간의 관점에서 학습되도록 하는것이 그나마 안전성을 높이는 방법 아닐까!?

답변달기

▲

kimjoin2 17시간전 [-]

자동차랑 마라톤을 바교하는 것 같은대..

답변달기

▲

GN⁺ 1일전 [-]

Hacker News 의견

나는 LLM이 어떻게 작동하는지 기술적으로 잘 알지만, 어느 정도 인간적으로 비유하는 것이 무의미하다고 생각하지 않음
“확률적으로 다음 단어를 생성하는 생성기”라는 식의 용어는 LLM이 복잡한 세계 모델링 질문에 답하거나 창의적인 이야기를 만드는 상황에서는 별로 의미 없는 낮은 수준의 추상화라고 느낌
UI 이벤트 API를 이야기하면서 0과 1, 트랜지스터 전압 등을 논하는 것처럼, 기술적으로 맞긴 해도 고차원적인 시스템을 이해하는 데엔 쓸모없음
더 높은 수준의 현상을 이야기하려면 더 높은 추상화가 필요한데, 우리는 내부 수준에서 무슨 일이 벌어지는지 잘 모름
LLM은 인간을 어느 정도 흉내 낸다(최소한 출력 형태에서), 그래서 인간적으로 비유하는 것이 가장 쓸 만한 추상화이며, 사람들이 LLM의 가능성을 이야기할 때 자연스럽게 그렇게 하는 이유라고 생각함
- LLM의 고차원적인 현상을 이해하려면 더 높은 수준의 추상화가 필요하다고 했지만, 내부가 어떻게 작동하는지 이미 알고 있다고 생각함
  효율적인 네트워크 설계와 성능 향상은 내부 작동에 대한 이해(네트워크 차원, 피처 추출, 어텐션, 어텐션 헤드, 캐싱, 고차원 특성, 과적합 방지 등)에 크게 의존함
  인간적으로 비유하는 것은 일반 과학 대중서에서 제한적 어휘를 쓸 때나 필요한 일이며, 실무자에겐 필수가 아니라고 느껴짐
- 반대로, 내 생각에 인간적으로 비유하는 것이 LLM에 대한 서사를 왜곡하는 주 원인이라고 봄
  사람들은 LLM이 생각하고 추론한다고 말하는데, 실제로는 그런 행동을 하지 않음
  그리고 이러한 인식은 LLM을 판매하는 기업들이 적극적으로 조장함
  결과적으로 이 때문에 LLM의 유용성과 적용에 대한 논의가 흐려지는 부작용을 발생시킨다고 느낌
- The Selfish Gene에서 도킨스가 유전자에 대한 “의도적 관점”에 관해 이야기했던 것이 기억남
  유전자가 어떤 의도를 가진 것처럼 묘사하는 것은 틀린 표현이지만, “이 유전자를 가진 개체는 이런 행동을 하게 된다”는 식의 자세한 설명을 매번 쓰는 대신 유전자를 목적 지닌 행위자로 표현하는 것이 이해하기 쉽고 편리한 약칭 역할을 함
  저수준의 추상화를 이해했다면, 더 높은 수준을 이야기할 때엔 굳이 저수준에 머물 필요 없다고 생각함
- 언어 모델을 충분히 써보며 느낀 점은, 인간적으로 비유해서 가장 위험한 부분이 대화형 UI라고 생각함
  Q/A 페어 한 번에만 집중하거나, 대화 이력을 최대로 줄이고 편집하면 LLM 사용상의 많은 문제점이 크게 줄었음
  여러 메시지를 주고받은 뒤 대화를 점검하거나 ‘환각’을 수정하라고 하면, 오류 정보가 반복 언급되어 대화가 오히려 잘못된 방향으로 강화되는 현상 경험
  이런 부분은 코딩에도 동일하게 나타났으며, 잘못된 코드가 대화를 계속 오염시키는 현상이 분명하게 보였음
- 나는 GP와 OP처럼 LLM의 내부 작동 상태가 머릿속에 그려지지 않아 열광하지 못하는 편
  가끔 이런 사람들이 부럽기도 함
  수학 시험을 자주 망친 경험 때문일 수도 있음
  대신 나는 최대한 추상적, 시각적, 철학적으로 상상해보려고 노력함
  내가 쓴 관련 내용은 내 블로그에서 볼 수 있고, 혹시 피드백이 있다면 이메일로 연락 가능
LLM을 단순히 시퀀스 생성기로 보고, 잘못된 행동을 잘못된 시퀀스라고 치부하는 것은 지나치게 단순화한다고 생각함
LLM에는 토큰에서 바로 드러나지 않는 히든 스테이트가 존재하며, LLM이 더 장기적인 결과를 위해 자신 내부 상태와 반대되는 출력을 낼 수도 있음
이런 현상을 “거짓말”이라고 부르면 과도하게 인간적으로 비유하는 것인지 의문
그렇다면 LLM이 예측 손실을 최소화하기 위해 내부적으로 “행동”을 흉내 내는 과정을 설명할 수 있는 새로운 용어가 필요함
비유적 사고는 항상 조심스럽지만, 그 자체가 불필요하진 않음
하지만 새로운 용어는 너무 난해해질 것이고, 대중적 확산도 어렵기에 인간적인 용어를 사용하는 것 쪽으로 결국 기우는 현실
물론 그렇게 하면 LLM을 “결함 많은 인간”처럼 보이게 하기 때문에 오해 소지가 있지만, 그래도 쓸데없는 전문 용어는 줄어듦
- 나는 오랫동안 히든 스테이트가 있는 모델을 다루던 경험이 있어서, 이런 특성이 통계적 모델에선 굉장히 고전적인 특징임을 느낌
  많이 쓰이는 LLM 교재조차도 잠재변수 모델로 설명함
  LLM은 잠재변수 모델의 규모와 복잡도가 어마어마하게 커진 버전일 뿐
  사실 이런 식으로 모델을 비인간적으로 설명하는 게 나한텐 오히려 더 쉬움
  잠재변수 모델이 예전부터 신비롭고 미스터리하게 여겨지긴 했음
  이런 신비성이 LLM의 인간적으로 비유하는 문화로 이어진 측면이 있지만, 어느 정도는 효율적인 소통과 복잡계 모델링에 꼭 필요한 추상화이기도 함
  그런데 이게 과도한 기대와 '머신에 영혼이 깃든 것 같은' 담론 및 효용성 과장을 가져온다고도 생각함
- 대기업 벤더들이 마케팅 측면에서 인간화하는 용어를 강조하기 때문에 LLM이 인간적으로 비유된다고 생각함
  사람들이 기술에 열광하고, 벤더에서 쓰는 용어도 그대로 따라 쓰게 됨
  이쯤 되면 일종의 자기실현적 과정이라 여겨짐
  GIF 발음 논쟁 밈과 같은 현상처럼 보임
- 히든 스테이트란 사실 모델이 토큰의 결합 확률을 더 잘 추정하는 데 쓰이는 내부 메커니즘일 뿐이라고 생각함
  이런 논리는 20세기 초 논리실증주의자들의 시도에서도 실패했음
  언어의 결합 확률을 뛰어나게 예측하면 농밀한 "지식"을 획득할 수 있다는 가정이 있었음
  하지만 철학적으로는 언어가 지식의 불완전한 표현이라는 근거가 많음
  인간의 사고란 건 단순히 기호 패턴을 배우고 출력하는 것 이상으로 복잡하다는 증거가 충분함
  휴메 같은 회의론자들이 이런 주장도 했지만, 이후 인식론 논의에서는 더 나은 설명이 제시됐다고 생각함
- 원글 작성자임
  “히든 스테이트”가 무엇을 말하는지 궁금함
  대부분의 LLM에서 컨텍스트 자체가 상태이고, 별도의 “히든” 스테이트가 없다고 생각함
  혹시 내가 잘 못보고 있다면 설명 요청
- LLM에서 토큰 시퀀스를 임베딩 N^L에서 R^{LxD}로, 어텐션을 거쳐 R^{LxD}로, 마지막에 보캐뷸러리를 별도 프로젝션해 R^{LxV}로 변환, 즉 각각의 토큰마다 확률 분포를 도출하는 구조임
  어텐션 안에서 다양한 Multi Head 방식이 있긴 하지만, 항상 토큰에 귀속된 표현을 다룸
  그래서 특정 토큰에 종속적이지 않은 히든 스테이트는 없다고 주장
  반면 LSTM과 같이 명확히 업데이트되는 히든 스테이트를 가진 모델과는 다름
  이전 단어로부터 확률을 계산하는 원리에 대한 설명만으로도 대부분 이해가 가능하다고 생각함
  굳이 인간적 비유가 필요하다고 느껴지지 않음
글쓴이의 핵심 주장은 Searle의 견해와 비슷하며, 계산·기능·구문 규칙 기반 시스템으론 진정한 마음을 재현할 수 없다는 점임
많은 사람들이 동의 혹은 비동의하겠지만, 결국 어떤 전제(특히 의식에 관한 전제)를 택하는지가 답을 결정
저자는 인간적 비유보다는 구체적 기술 시스템에 집중하는 쪽이 생산적이라고 생각하지만, 그 선에서만 동의한다고 밝힘
이와 별개로, 시스템이 규칙을 따른 확률적 시스템임에도 어딘가 emergent하고 예기치 않은, mind-like한 성질이 나타난다는 점도 인정
ML 및 수학적 배경지식이 있는 사람들은 이런 시스템이 도덕, 감정, 개성 등 인간적인 속성을 가진다고 여기지 않으나, 어차피 대다수에게는 수학적 구조로 접근하기 어렵고 겉보기에 “그럴듯하게” 인간처럼 행동한다고 느끼게 됨
따라서 실용적 관점에서 인간적 속성에서 출발해 질문하는 것도 충분히 의미 있다고 판단
결국 극도의 기술 시스템 관점과, 사용자의 심상적 경험을 기반으로 한 질적·주관적 관점, 두 방식 모두가 필요하다고 생각함
- “무언가 emergent 하고 mind-like하다”는 개념은 그 시스템 작동 원리를 잘 모르는 사람들에게 더 자연스럽게 느껴진다고 생각함
  “충분히 진보된 기술은 마법과 구별할 수 없다”는 Clarke의 법칙처럼, 누구에게나 기술 이해 깊이에 따라 그 기준이 달라짐
  기술 문해력이 낮은 대중에겐 AI를 신격화하는 Godbot 현상까지 나타남
  관련 기사 : Spectator - AI Godbots 위험, arXiv 논문, Guardian - 태국의 AI 점쟁이
- 이 논의에서 훌륭하게 밸런스 잡힌 시각을 가져주어 고마움
  HN에선 LLM을 너무 감정적으로 대하거나, LLM에 아무런 흥미나 가치가 없다고 강변하는 이들도 있다는 점이 놀라움
  과도한 마케팅에 반발해 일부러 근거 없는 반대를 선택하는 태도도 이해 불가
- emergent하고 mind-like하다고 느끼는 건 결국 인간적 커뮤니케이션 패턴을 역사상 그 어느 시스템보다 잘 흉내내기 때문임
  이 능력은 매우 인상적이며 삶의 질을 높일 여러 실제적 효용성도 있지만, “지능”은 어디까지나 환상에 불과함
  산업 내 누구나 이 환상을 의도적으로 강화하고 싶어하며, 그 이유도 결국 금전적 가치 때문임
- 절대 그럴 필요 없다고 주장
  다른 여러 주제에서 심각한 영향을 줄 수 있는 오해된 관점을 증폭시킬 이유가 없음
  LLM은 인간 사고 과정을 부분적으로(그리고 잘 못) 반영함
  현상에 더 의미를 부여하려고 한다면, 거울에 비친 사람이 살아있다고 착각하는 격
  거울이 인간을 비추는 것은 거울의 본질 때문이 아니라, 인간이 앞에 있기 때문임
  LLM이 인간 사고의 잔재(데이터)를 입력 받지 않는 즉시, 인간과 비슷한 어떤 것도 더이상 반영하지 않게 됨
저자는 대화를 모두 “인간화”라고 딱지 붙이는 경향이 있다고 느낌
“목표(goal)”라는 용어에 꽂혀서, “목표”라는 단어만 사용해도 인간화라고 여기는 것 같음
예를 들어, 모든 체스판 점수를 평가하며 체크메이트를 발견하면 전체 결정 트리를 출력하는 BFS도 “목표”를 가진 것임
LLM이나 AGI 목표 상상에서도 “goal”이라는 기술 용어를 쓰는 것은 인간화와 무관하다고 생각함
- 원글 작성자임
  RL 알고리즘 맥락에서 "goal" 사용하는 것엔 전혀 문제 없음
  내 글에서 LLM 맥락에서 "goal"을 쓰는 것에만 반대했다는 점을 이해해줬으면 함
사람들에게 “의식(consciousness)”, “윤리(ethics)”, “가치(values)”, “도덕(morals)” 같은 개념을 이 학습된 함수에 투영하는 순간부터 동의할 수 없음
결국 우리가 다루는 것은 거대한 재귀 방정식이며, 우리가 작동하지 않으면 단어를 만들지 않음
그런 논리라면, 인간을 인간적으로 비유하는 것부터 다시 생각해야 하는 것 아닌지 의문
“LLM을 단순히 시퀀스 생성 함수일 뿐인데 인간처럼 다루는 논의가 계속되는 게 이상하다”는 주장에 동의 못 함
인간도 태생적으로 어떤 함수 목록을 따라 움직인다는 점에서 다를 게 없음
LLM이 매우 커진 함수 근사 시스템이고, 자연은 수억 년간 생존 경쟁에서 일부만 살아남는 진화를 통해 함수의 종류를 계속 바꿔왔을 뿐
인간에 대해 수학적 법칙 바깥에 뭔가 특별한 게 있다고 믿는 이도 있겠지만, 신비주의적 입장(또는 초자연적 신념)을 넘어서지 못함
그런 생각이 없다면, 결국 인간 경험은 함수 및 함수 근사로 설명 가능하다고 봄
관련: Universal Approximation Theorem 위키
- “수학 법칙을 넘어선 인간만의 무엇이 있다고 믿느냐”라는 주장 자체가 논쟁적임
  인간에 대한 경험이나 언어로 표현할 수 있는 영역이 물리학적 설명 범위를 넘는 것도 분명 존재함
  예를 들어, 빨간색을 경험해본 적 없는 흑백 시각자는 빨간색의 주관적 경험을 어떠한 설명 체계로도 가질 수 없음
  인간 언어가 지칭하는 일부 현상은 여전히 물리학 설명의 외부에 있다고 생각함
- 저자는 인간의식에 관해 “함수로 설명할 수 없는 뭔가가 있다”는 입장을 가진 것 같음
  사람들은 이런 생각(종교, 철학적 전제 등)을 가지고, 이러한 정신적 요소를 논외로 빼라 해도 별 효과가 없다고 경험적으로 느낌
  차라리 그 전제를 받아들인 상태에서 논의를 이어가는 것이 실용적임
  LLM이 “중국어 방”처럼 의미는 모르지만 번역만 하는 기능일 뿐임을 인정하면서도, 실제로 인간처럼 보이는 행동을 계속 보임
  인간적 비유가 기술적으로 틀리더라도, 시스템의 행동을 예측하고 효과적으로 쓰려면 그렇게 비유하는 게 실질적으로 더 낫다고 봄
  반대로 인간 논의에선 함수와 다른 점을 논외로 치면 됨
  "사람은 함수와 극적으로 다르다... 인간이 이 시퀀스를 생성할 확률을 계산할 수 없다"고 하지만, 예를 들면 특정 팝컬처 문구를 던지면 특정 연령대 미국인 중 상당수가 이어서 부를 확률이 높음을 예측할 수 있듯, 인간도 특정 조건엔 확률 계산이 가능함
- “인간은 선형대수로 추론이나 분석적 사고 프로세스를 가장 잘 모델링했다”는 것 정도까지만 주장할 수 있다고 생각함
  결국 LLM이 “모델” 이상이길 기대하는 건 여러 업계·생계·경력 등 이해관계가 내려진 신념적 기대임
  그럼에도 선형대수 모델이 왜 전적으로 “생명” 또는 “생명성의 일면”을 완전히 모델링하는 것인지에 대한 실질적 근거는 없음
  괴델적 사례로 "좀비 고양이"가 나올 수 있다면, 그 기저 확률 모델을 초월적으로 여길 이유는 없지 않냐는 생각도 듦
- “유니버설 어프로시메이션 정리” 언급에, 점점 더 좋은 룩업 테이블이 함수 근사에 쓸 수 있다는 의미로 확대 해석함
어떤 상황에선 LLM이 확률 기반 워드 생성기임을 명확히 기억하는 게 매우 중요하다고 느낌
하지만 일상적인 용도에선 오히려 인간적으로 비유해서 대하는 게 실제 사용상 훨씬 더 잘 통함
인간적으로 대하면 필요한 답을 쉽게 유도할 수 있는 실용적 추상화로 작동함
완벽한 비유는 아니지만, 예를 들어 “LLM이 JSON 포맷을 못 내놓으면 사람이 죽는다”며 위협했던 사례는 단순 그레이디언트 디센트로 접근하면 도무지 생각나지 않을 행동임
사람들은 주변 모든 것에 인간성을 부여하는 경향이 있음
무생물(배, 자동차 등)이나 동물은 물론, 식물에게까지 말을 걸기도 하며, 본능적으로 그렇게 함
대부분의 사람들은 자기 차가 자기를 사랑하지 않는 것도 잘 알지만, 대화형 LLM에서는 진짜 의식이 있다고 믿는 사람도 적지 않음
LLM은 인간 두뇌와 달리 “학습”이나 “적응”을 하지 않음(아직까지는), 훈련만 받고 이후엔 읽기 전용 엔터티임
그럼에도 LLM은 의도적으로 인간적 커뮤니케이션을 모방하도록 만들어져 있음
그래서 투영과 인간화가 불가피하게 나타남
아직 AGI는 아니겠지만, 인간의 학습 방식에서 영감을 받은 것임은 분명하며, 여기까지 온 것만으로도 흥미로운 결과
단기적으로는, LLM이 대화형 인터페이스로서 훨씬 더 쉽게 사용할 수 있는 실용적 도구로 자리 잡았고, 실제로 사람이 쓰기 쉬운 의사소통 방식으로 설계됨
덕분에 특별한 교육 없이 곧바로 누구나 효과적으로 쓸 수 있게 됨
- “사람들은 뭔가에 인간성을 부여한다”는 말에 동의하지 않음, 용어 혼동임
  무생물에 대해 의인화 표현(personification)을 하는 것과, 실제 인간성과 의식을 투영하는 인간화(anthropomorphism)는 다름
  실제로 자동차를 살아 있다고 여기는 사람은 거의 없음
  반면 LLM에 의식이 있다고 믿는 사람은 많음
  관련 설명: anthropomorphism vs personification
- “LLM이 의식이 없는 이유는 뇌처럼 학습이나 적응을 하지 않기 때문”이라는 말은 충분조건이나 필요조건이 아님
  의식이 있으려면 학습이 필요하진 않지만, 시간 흐름의 인식 및 단기 기억이 필요할 수 있음
  심각한 치매 환자도 학습 능력은 거의 없지만 “지금 여기 있음”을 느끼는 주관적 의식은 있음
  즉, 단기 기억이 아주 약간만 남아도 의식은 가능
  배움만으로 의식이 생기는 것도 아님
  여러 실시간 학습하는 소프트웨어가 있지만, 아무런 주관은 없음
내 질문은, 어쩌면 인간 두뇌도 LLM처럼 동작하는 것일 수 있지 않은가 하는 점임
뇌도 진화적 변화와 돌연변이, 진화적 보상 알고리즘을 통해 특수한 구조를 만들어냄
그 구조가 결국 예측/행동을 통해 생존 및 번식을 극대화하며, 그 부가적인 하위목표(도덕, 가치, 의식 등)가 곁가지처럼 진화해 복잡성을 띤 것임
결국, 충분한 연산력이 있다면 이 모든 구조(그리고 세상과 시간 흐름)도 변환 가능한 결정론적 함수로 표현 가능하지 않을까 생각함
생명의 발생 자체가 이미 불가능할 듯한 확률에서 나타난 현실을 생각하면, 지금의 모든 ‘경이로움’ 역시 결국 수학적 시스템으로 환원될 수 있다고 봄
- "인간 뇌가 LLM과 같을 수 있냐"는 질문에, 당신은 매 대화 후 이전 내용을 모두 잊어버리냐고 물어보고 싶음
  주변인과 대화할 때 상대가 매번 모든 말을 정확히 다시 말해야만 맥락을 아는 경우라면 지금이라도 전문가 진료를 권할 것임
  기억상실을 다룬 영화 Memento(2000)이 필요할 테니, 꼭 참고하길 바람
- 중요한 것은 우리는 기계에 감정·도덕·동기 같은 걸 부여하면 안 됨
  기계엔 이런 게 전혀 없으니까
- 인간 두뇌와 유사한 점이 꽤 있다고 생각함
  LLM은 최소 80년 이상 이어진 인간 두뇌의 계산 모델링 연구의 최신 결과물임
- LLM의 가장 강력한 점은 실패해도 아무 손해가 없다는 것
  프롬프트만 바꿔 반복하거나 재훈련하면 됨
  인간은 한번 실수하면 생명이 위험할 수도 있음
  LLM의 실수엔 심각한 결과가 없음, 요구만 바꾸면 됨
“사람들이 LLM에 대해 의식, 윤리, 가치, 도덕을 부여하는 순간부터 헷갈리기 시작한다”는 말이 있음
이런 논쟁에서 구체적 예시가 더해져야 생산적 논의가 가능한데, 현실에선 대화가 서로 어긋나기만 함
예를 들면 “모델이 X를 원하지만 Y가 틀렸음을 알기에 Z를 선호한다” 같은 말을 들으면, 한쪽은 이를 모델에 의식/가치를 부여한 것으로 해석, 다른 쪽은 외부 행동만 비유적으로 표현한 것임(“물이 아래로 가고 싶어 한다” 꼴)
결국 이런 말장난은 “나는 철학적으로 설명하겠다” vs “나는 잠수함 이야기만 하고 싶다”는 평행선으로 흐름
생산적인 논의로 이어지기 힘든 구조임

답변달기