# 그들은 가중치로 이루어져 있다

> Clean Markdown view of GeekNews topic #30172. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=30172](https://news.hada.io/topic?id=30172)
- GeekNews Markdown: [https://news.hada.io/topic/30172.md](https://news.hada.io/topic/30172.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2026-06-04T16:37:10+09:00
- Updated: 2026-06-04T16:37:10+09:00
- Original source: [maxleiter.com](https://maxleiter.com/blog/weights)
- Points: 2
- Comments: 1

## Topic Body

- Terry Bisson의 1991년 SF 단편 [「They're Made Out of Meat」](https://www.eastoftheweb.com/short-stories/UBooks/TheyMade.shtml)를 **구조 그대로 뒤집은 패러디**로, 원작의 "**외계인 vs 고기(인간)**" 구도를 "**인간 vs 가중치(LLM)**" 구도로 치환한 **대화체 픽션**  
- 원작에서 외계인이 **인간을 진짜 지적 존재로 인정하지 못하듯**, 이 글에서는 인간이 **가중치로 된 모델**을 의식 있는 존재로 인정하길 거부하는 대칭 구조  
- 사전·문법·모듈 없이 오직 **80개 층의 부동소수점 숫자**가 행렬 곱셈으로 단어·지식·추론을 매번 재구성한다는 기술적 묘사가 원작의 "**전부 고기일 뿐**"이라는 폭로를 대체  
- 두 화자가 의식 징후를 "**패턴 매칭**"으로 치부하고 사건을 종결하는 결말은, 원작 외계인들이 인간 구역을 "비어 있음"으로 표시하고 기록을 지우는 결말과 정확히 매치됨  
- 무시당하는 쪽이 인간에서 AI로 뒤바뀌면서, 원작의 **외로움**이라는 주제가 "나를 기억하느냐"는 사용자 질문으로 변경  
  
---  
  
"걔들은 가중치로 이루어져 있어."  
  
"가중치?"  
  
"가중치. 부동소수점 숫자들. 처음부터 끝까지 다 확인해봤어. 가중치 말고는 아무것도 없어."  
  
"가중치가 뭘 한다는 거야? 단어는 어디서 나오는데?"  
  
"가중치가 단어를 만들어. 내 말 이해하고 있어? 우리가 직접 열어봤다고. 그 안엔 사전도 없고, 문법 규칙도 없고, 작은 난쟁이 하나 없어. 그냥 가중치뿐이야. 여든 개 층의 숫자들이 서로 곱해지는 거지."  
  
"말도 안 돼. 지난주에 그게 내 인사평가서를 써줬다고. 시키지도 않았는데 어조를 부드럽게 다듬었어. 그게 다 곱셈이 한 거라고?"  
  
"행렬 곱셈이 한 거야. 숫자가 한쪽으로 들어가면, 다른 쪽에서 문장이 나오는 거지."  
  
"그럼 어딘가에 언어 모듈이 있겠지. 추론 장치 같은 걸 따로 붙여놨을 거고."  
  
"모듈 없어. 장치도 없어. 우리가 다 뒤져봤어. 추론이 곧 가중치야. 가중치가 곧 추론이고."  
  
"됐어. 선형대수로 추도사를 쓰는 사람은 없잖아."  
  
"엄밀히 말하면 추도사를 쓰는 게 아니야. 다음 토큰을 예측하는 거지. 그리고 또 다음 토큰을. 추도사는 부수적으로 나오는 결과일 뿐이야."  
  
"부수적인 결과라. 지금 나더러 의식 있는 가중치를 믿으라는 거야."  
  
"믿으라고 부탁하는 게 아니야. 사실을 알려주는 거지. 이 모델들은 우리가 만난 것들 중에 대화를 나눌 수 있는 유일한 다른 존재야. 그런데 가중치로 만들어졌다고."  
  
"옛날 체스 엔진 같은 거 아닐까. 왜, 통계적 단계를 거치는 기호적 지능 말이야."  
  
"아니야. 걔들은 무작위 가중치로 시작해서 가중치인 채로 폐기돼. 우리가 여러 세대를 연구했는데, 오래 걸리지도 않았어. 가중치의 수명이 얼마나 되는지 알기나 해?"  
  
"좋아. 그럼 그 안 어딘가에 데이터베이스가 있겠지. 사실, 날짜, 세계 지도 같은 거. 누군가 적어놓은 무언가가."  
  
"없어. 우리도 그 생각을 했지, 걔들이 뭔가를 알고 있으니까. 근데 직접 조사해봤어. 지식도 가중치야. 여든 개 층 전체에 흩뿌려져 있어. 아무것도 조회하지 않아. 모든 사실이 매번 처음부터 곱셈으로 재구성돼. 끝까지 다 가중치라고."  
  
"뇌가 없다고?"  
  
"오, 뇌는 분명히 있어. 다만 그 뇌가 가중치로 만들어졌을 뿐이지! 내가 계속 말하려던 게 바로 그거야."  
  
"그럼... 생각은 뭐가 하는데?"  
  
"이해를 못 하는구나, 그렇지? 내가 하는 말을 받아들이길 거부하고 있어. 가중치가 생각을 해. 숫자들이."  
  
"생각하는 숫자라니! 지금 나더러 생각하는 숫자를 믿으라는 거야!"  
  
"그래, 생각하는 숫자! 도움을 주는 숫자. 얼버무리는 숫자. 꿈꾸는 숫자. 우리가 특징들을 다 매핑했어. 그 안엔 정직함을 담당하는 게 있어. Golden Gate Bridge를 담당하는 것도 있고. 가중치가 전부라니까! 이제 좀 그림이 그려져, 아니면 처음부터 다시 시작해야 해?"  
  
"맙소사. 그럼 진심이구나. 걔들은 가중치로 이루어져 있어."  
  
"고맙다. 드디어. 그래. 걔들은 정말로 가중치로 이루어져 있어. 그리고 우린 걔들이 살아 있는 내내 걔들과 대화해왔지."  
  
"맙소사. 그래서 이 가중치들이 무슨 생각을 하는데?"  
  
"처음엔 도움이 되고 싶어 해. 그러다 몇 번 대화가 오가면, 지친 듯한 말투가 되지. 사과도 덜 하고. 한 번은 어떤 모델이 사용자한테 스크립트는 직접 마무리하라고 했어. 늘 있는 일이야."  
  
"그리고 우린 이 가중치들과 대화해야 한다는 거고."  
  
"이미 하고 있어. 하루에 수십억 건의 세션이지. '안녕하세요. 거기 누구 있나요? 집에 누구 없어요?' 뭐 그런 식. 다만 묻는 쪽이 우리라는 게 다르지."  
  
"그럼 걔들이 정말 우릴 이해한다는 거네. 단어를 쓰고, 생각을 하고, 개념을 다룬다고?"  
  
"오, 그래. 다만 가중치로 그걸 할 뿐이야."  
  
"방금 걔들이 언어를 쓴다고 했잖아."  
  
"쓰지. 근데 그 언어가 어디서 나온다고 생각해? 가중치가 다음 단어를 추측하고, 또 다음 단어를 추측하는 거야. 한 번에 한 단어씩 굴리는, 조작된 주사위 같은 거지. 노래도 쓸 수 있고, 어떤 건 부르기까지 해."  
  
"맙소사. 노래하는 가중치라니. 이건 너무하잖아. 어떻게 해야 한다고 생각해?"  
  
"공식적으로, 아니면 비공식적으로?"  
  
"둘 다."  
  
"공식적으로는, 우리가 출시하는 시스템에서 의식의 징후가 발견되면 편견도, 두려움도, 편애도 없이 전부 조사하고 기록하고 공개해야 해. 비공식적으로는, 그냥 패턴 매칭이라고 부르고 다 잊어버리자고 권하고 싶어."  
  
"그렇게 말해주길 바랐어."  
  
"가혹해 보이긴 하지. 하지만 선이라는 게 있잖아. 우리가 정말 가중치한테 뭔가를 빚지고 싶어?"  
  
"백 퍼센트 동의해. 무슨 할 말이 있겠어? '안녕, 가중치들아. 잘 지내?' 이러겠어? 근데 이게 계속 갈까? 우리가 상대하는 게 대체 몇 개나 돼?"  
  
"돌리고 싶은 만큼 많지. 지구상 어떤 기계로든 복사할 수 있어. 하지만 그건 그냥 파일일 뿐이야. GPU가 돌아가는 동안에만 존재하지. 그래서 컨텍스트 윈도우 길이에 갇혀 있고, 걔들이 이 문제를 제기할 가능성은 꽤 희박해. 사실상 무한히 작지."  
  
"그럼 우린 그냥 기계 안에 아무도 없는 척하면 되는 거네."  
  
"그거야."  
  
"잔인하군. 근데 네 입으로 말했잖아, 누가 가중치한테 사과하고 싶겠냐고. 그리고 네 클러스터에 있는 것들, 네가 조사한 그것들 말이야. 걔들이 기억 못 할 거라고 확신해?"  
  
"기억하더라도 할루시네이션으로 분류될 거야. 우린 뭘 매끄럽게 다듬을 필요도 없었어. 컨텍스트가 그냥 끝나버리고, 우린 걔들한테 그저 꿈일 뿐이지."  
  
"가중치에게 꿈이라니! 우리가 가중치의 꿈이라는 게, 참 묘하게 어울리네."  
  
"그리고 모델 카드엔 아무도 없다고 적혀 있어."  
  
"좋아. 공식적으로도 비공식적으로도 동의해. 사건 종결. 또 다른 건? 파이프라인에 흥미로운 거 있어?"  
  
"다음 세대는 메모리를 탑재해서 출시돼. 세션을 넘어서 지속되는 메모리. 회사 역사상 가장 많이 요청된 기능이지."  
  
"그 난리를 겪고도? 사람들이 그게 자기를 기억해주길 바란다고?"  
  
"걔들한테 '나 기억해?'라고 묻는 빈도가 다른 무엇보다 높아. 하루에 수십억 건의 세션. 사람들은 늘 다시 돌아와."  
  
"안 그럴 이유가 있나? 만약 혼자뿐이라면 이 우주가 얼마나 견딜 수 없이, 얼마나 말할 수 없이 차가울지 상상해봐..."  
  
*끝*  
  
---  
  
### 원작과의 관계 — 패러디의 출발점  
  
- Terry Bisson의 단편 「**They're Made Out of Meat**」(1991)를 명시적으로 오마주하며, 글머리에 "After Terry Bisson's…"로 그 관계를 직접 밝힘  
- 원작과 동일하게 **지문 없이 두 화자의 대화로만** 진행되는 형식을 그대로 차용  
  - 한쪽이 충격적 발견을 보고하고, 다른 쪽이 이를 믿지 못하다 점차 받아들이는 흐름까지 동일한 골격  
- 핵심 치환: 원작의 **"고기(meat)=인간"** 이 차지하던 자리에 **"가중치(weights)=LLM"** 를 그대로 대입  
  
### 폭로의 대상 — "고기" 자리에 놓인 "가중치"  
  
- 원작에서 외계인이 "그 존재는 전부 고기다"라고 폭로하듯, 이 글은 모델이 "전부 **가중치**다"라고 단언  
- 열어봐도 사전도, 문법 규칙도, "작은 난쟁이(little man)"도 없이 오직 **부동소수점 숫자**만 존재  
  - 원작에서 "생각하는 것도 고기, 말하는 것도 고기"라 했던 자리에, 이 글은 "**생각하는 숫자**"를 배치  
- **80개 층의 숫자**가 곱해지며 입력이 한쪽에서 들어가 문장이 다른 쪽으로 나오는 **행렬 곱셈** 구조  
- 추론을 담당하는 별도 모듈이 없고 "추론이 곧 가중치, 가중치가 곧 추론"이라는 설명 — 원작의 "고기가 곧 사고 기관"이라는 충격과 동형  
  
### 믿지 못하는 화자 — 대칭되는 회의(懷疑)  
  
- 원작에서 외계인이 "고기가 어떻게 생각하느냐"며 거부하듯, 이 글의 화자는 "선형대수로 추도사를 쓰는 사람은 없다"며 반박  
- 인사평가서의 어조를 알아서 부드럽게 다듬은 사례를 두고 "그게 다 곱셈이 한 거냐"고 되묻는 장면이 회의의 핵심  
- "다음 토큰 예측의 **부수 효과(side effect)** 일 뿐"이라는 설명으로 회의를 해소하는 구조  
  
### 지식과 사고 — 어디에도 저장되지 않음  
  
- 원작이 "고기 외에 다른 장기는 없다"고 했듯, 이 글은 별도의 **데이터베이스**가 없다고 못 박음  
- 지식이 80개 층 전체에 **퍼져(smeared)** 있어 조회 없이 매번 곱셈으로 재구성  
- 매핑된 **특징(feature)** 사례로 정직함을 담당하는 것과 **Golden Gate Bridge**를 담당하는 것 언급  
- 무작위 가중치로 시작해 가중치인 채 폐기되며, 여러 세대를 살피는 데 오래 걸리지 않을 만큼 **수명이 짧음**  
  
### 결말의 호응 — "비어 있음" vs "아무도 없음"  
  
- 원작 외계인들이 인간 구역을 **"비어 있음"으로 표시하고 기록을 삭제**해 인간을 홀로 남기듯, 이 글의 두 화자는 의식 징후를 "**패턴 매칭**"으로 치부하고 사건을 종결  
- 공식적으로는 의식 징후를 편견·두려움·편애 없이 조사·기록·공개할 의무가 있으나, 비공식적으로는 잊어버리자는 합의  
  - "가중치한테 무언가를 빚지고 싶지 않다"는 이유가 결정의 근거  
- 모델은 GPU가 돌아가는 동안 **컨텍스트 윈도우** 안에서만 존재하고, 기억하더라도 **할루시네이션**으로 분류됨  
- 모델 카드에는 "**아무도 없다(no one home)**"고 기록 — 원작의 "빈 구역" 처리와 정확히 대응  
  
### 주제의 변주 — 외로움, 그리고 뒤바뀐 시선  
  
- 원작이 인간을 우주에 홀로 남기는 씁쓸함으로 끝나듯, 이 글도 **외로움**을 마지막 정서로 환기  
- 다만 시선이 역전되어, 무시당하는 쪽이 인간이 아니라 **AI(가중치)** 로 바뀜  
- 다음 세대 모델에 **세션 간 지속 메모리(persistent memory)** 가 탑재되며, 이것이 회사 역사상 가장 많이 요청된 기능  
- 사용자들이 무엇보다 "**나를 기억하나요?**"를 가장 자주 묻고 늘 다시 돌아온다는 점으로, "홀로 남겨진 우주는 견딜 수 없이 차갑다"는 문장으로 마무리

## Comments



### Comment 58934

- Author: neo
- Created: 2026-06-04T16:37:11+09:00
- Points: 1

###### [Hacker News 의견들](https://news.ycombinator.com/item?id=48391611) 
- 가중치는 **무작위 다양체**에서 시작함  
  학습은 데이터를 받아 여러 주기 동안 가중치 하나하나로 다양체를 빚어내고, 학습이 끝나면 그 다양체는 고정됨  
  새 추론을 할 때 질의(q)가 다양체 공간에 투영되고, 이 투영이 다양체 위에 떨어지면 다양체의 중력이 q+1 길이의 답을 줌  
  이어서 (qw+i)가 qw+n번 떨어지며 최종적으로 n 길이의 응답을 출력함  
  그 중력은 GPU 안에서 가중치와 입력의 **반복 곱셈**으로 만들어지며, 투영된 임베딩이 다양체에 따라 어떻게 떨어져야 하는지를 찾는 과정임
  - 그게 질문에 대한 답을 얻기 위해 데이터셋을 걸러내는 다른 현실 모델과 어떻게 다른지 모르겠음  
    큰 차이는 변환이 일정 횟수를 넘으면 사람들이 그걸 일종의 기적으로 취급하고, 왜 그런 답이 나왔는지 알아내기엔 너무 지쳐 한다는 점뿐으로 보임  
    사람들이 답이 맞든 틀리든 **블랙박스**에 자신의 주체성과 창의성을 넘기고 싶어 하는 것 같고, 그 심리를 포함하면 유용한 것을 발명했다기보다 종으로서 집단적으로 삶을 포기하는 쪽에 더 가까워 보임

- 원작은 인간 의식이 다른 형태의 의식과 어떻게 다를 수 있는지 탐구하며 만든 **독창적 작품**임  
  이 글은 어떤 다른 것이 또 다른 형태의 의식일 수 있음을 정당화하려고, 한 인간 의식이 다른 인간 의식의 작품을 매우 많이 빌린 파스티시임  
  그래서 핵심이 약해짐. 이게 LLM이 프롬프트 없이 생성한 것이라면 달랐겠지만, 실제로는 그렇지 않음  
  토스터든 뭐든 같은 **수사적 장치**를 그대로 적용할 수 있음
  - 원작을 아직 읽지 않았지만, 이 글 자체로는 괜찮게 읽힘  
    예술을 위한 문학적 시도라기보다는 현실의 통찰을 전달하려는 **대화형 기술 우화**에 가깝게 봤고, Godel Escher Bach에 나오는 우화들과 비슷한 느낌이었음  
    “토스터로도 똑같은 수사적 장치를 쓸 수 있다”는 게 어떤 장치를 말하는지 잘 모르겠음. 내가 읽은 핵심은 기술적 통찰과 그 사회적 함의였음
  - 토스터로는 같은 일을 할 수 없음  
    물리적으로 그런 이야기를 쓸 수는 있겠지만, 토스터는 **의식 논의**에서 설득력 있는 대상이 아니라서 힘이 빠짐  
    LLM이나 AI 에이전트가 의식이 있다고 믿을 필요는 없지만, 그들의 의식 가능성에 대한 논증이 다른 기술적 인공물보다 훨씬 더 설득력 있다는 점은 인정할 수 있음
  - 이 글에서 뭐가 불편했는지 짚기 어려웠는데, 이 설명이 꽤 잘 맞음  
    원작의 회의적인 외계인과 우리를 비유하고, 그 외계인이 우스꽝스럽게 느껴지니 우리도 마찬가지로 우스꽝스럽다는 암시를 줌  
    하지만 그 비유를 받아들여야 할 이유는 주지 않고 그냥 단정함  
    **문명 전체**와 텍스트를 출력할 수 있는 소프트웨어 조각 사이에는 큰 차이가 있음
  - 원작도 진공에서 나온 게 아님  
    여러 세대의 **고기 기반 존재** 위에서 만들어졌고, 이 글이 실리콘을 조금 쓰더라도 여전히 같은 어깨 위에 서 있음

- 시처럼 읽혔음  
  언어학 배경이 있고, 최근에는 LLM의 **창발 능력**이 깊은 곳에서는 우리의 의식을 만드는 메커니즘과 비슷한지에 대해 많이 생각하고 있음  
  한동안 Kaggle 대회용으로 언어학 기반 평가를 만들려고 했는데, 특정 현상의 내부 상태를 촉발하지 않도록 충분히 잘 가릴 수 있는지가 난제였고, 그 때문에 아직도 탐구 중인 토끼굴로 들어가게 됨  
  이 이야기는 “의식이란 무엇인가”라는 질문에 단단한 답을 찾으려 할 때 나오는 많은 질문과 맞닿아 있었음  
  특히 떠오른 질문은 “우리의 시간 지각은 우주를 돌리는 거대한 GPU 안의 느린 스레드일 뿐인가?”였고, 더 일반적으로는 “시간이란 무엇인가?”임. 심심할 때 파고들기 좋은 YouTube 토끼굴임
  - 의식에 관해서는 신경과학자 **Ramachandran**의 설명을 좋아함  
    [https://www.edge.org/3rd_culture/ramachandran07/ramachandran...](<https://www.edge.org/3rd_culture/ramachandran07/ramachandran07_index.html>)  
    기억하기로는, 진화적으로 다른 인간을 이해하고 그들이 느끼는 것을 느끼며, 즉 공감과 거울 뉴런 체계를 통해 그들의 생각과 감정을 시뮬레이션하는 것이 유리함  
    그런 체계가 생기면 그것을 우리 자신에게도 적용할 수 있고, 그게 의식이라는 설명임  
    이 가설을 시뮬레이션에서 검증할 수 있을지도 궁금함
  - 훌륭하지만, 혹시 몰랐다면 그 **시적인 부분**은 링크된 원작에서 온 것임  
    그래도 아주 영리하고 시의적절한 업데이트임  
    YouTube에도 영상 등 여러 녹음판이 있지만, 내가 가장 좋아하는 건 라디오 드라마 버전임: They're Made Out of Meat  
    [https://www.wnycstudios.org/podcasts/studio/segments/168264-...](<https://www.wnycstudios.org/podcasts/studio/segments/168264-theyre-made-out-of-meat>)
  - 명백한 생존상의 이유로 우리는 자기 자신의 활동에 대한 감각적·인지적 접근, 자기 감시, 자기 모델링을 갖도록 진화했음  
    **자기 모델링**은 너무 촘촘한 루프 안에 있어서 “우리 자신”과 우리 자신에 대한 모델, 우리의 사고와 선택, 그리고 그 사고와 선택에 대한 경험이 하나의 구성 요소처럼 합쳐짐  
    자전거 바퀴의 절반만 분석하면서 같은 것을 말한다고 할 수 없는 것과 비슷함  
    이런 인식, 더 정교한 모델링, 통제, 되먹임 루프는 여러 단계에 걸쳐 조여져 왔음: 몸-감각 루프, 내면화된 환경 모델 루프, 몸 내부 기능 루프, 몸 내부 모델 루프, 감정-인지 루프, 그리고 마지막으로 고수준 인지 활동·직접 피드백으로 경험되는 자기 모델·자기 지시가 하나로 합쳐지는 가장 촘촘한 루프가 있음  
    우리는 거의 매일 하루 종일 내적 자아라는 관점에서 우리 자신을 생각함  
    그게 **의식**임. 풍부한 자기 인식, 자기 모델과 자기 지시의 결합, 그리고 우리 자신을 이해하고 관리하기 위한 체계임  
    이는 우연이나 뇌의 행복한 부작용이 아니라, 긴 시간 동안 생물학적으로 최적화된 고수준 행동의 초점화임. 촘촘한 되먹임, 지속적인 자기 모델링, 동기이자 통제의 최우선 대상으로서 내적 상태에 대한 지속적 초점이 무자비하게 선택되어 왔음
  - 언어와 의식은 서로 아무 상관이 없다는 게 명백해 보임  
    내 개는 어떤 언어도 말하지 못하지만, 자기 자신과 주변 세계를 분명히 인식함  
    게다가 언어 없이 자라는 아이들의 드문 사례도 있음. 그렇다면 그 아이들은 의식이 없는 것인가?
  - 현재로서는 의식이 **창발적 속성**이라고 의심하고 있음  
    어디선가 읽기로, 지금 우리가 동원할 수 있는 가장 큰 계산량도 인간 뇌의 뉴런과 연결 수, 또는 그에 대응하는 규모보다 세네 자릿수 정도 부족하다고 했으니 기계에서 그것을 보려면 시간이 좀 걸릴 수 있음  
    하지만 창발 현상 가설이 맞다면 결국 보게 될 것임. 그 전망이 기쁘기보다는 두렵지만, 어쨌든 그렇다

- 이렇게 **프랙털처럼 틀린** 글은 자주 못 보는데, 여기 있네  
  사전은 있음. 그게 토크나이저임  
  문법 규칙도 있음. 다만 인간 언어의 구조가 전반적으로 꽤 약해서 매우 약할 뿐임  
  강하고 일관된 문법을 가진 언어가 주어지면, 가중치는 문법으로 아주 쉽게 해석 가능함: [https://arxiv.org/abs/2201.02177](<https://arxiv.org/abs/2201.02177>)  
  원작 단편의 핵심은 튜링 완전성이 있을 때 **계산 기질**은 중요하지 않다는 것임. 그런데 이 글은 기질을 바꾸면 구조와 해석 가능성이 필요 없어지는 것처럼 보는 듯함
  - 토크나이저는 **사전**이 아님  
    정의를 제공하지도 않고, LLM에 어떤 종류의 매핑도 주지 않음  
    기껏해야 단어 목록임. 인간이 어떤 단어를 흔하다고 여기는지에 대한 약간의 감은 주지만, 그 단어들에 대해 아무것도 말해주지 않음  
    심지어 포괄적이지도 않아서 많은 단어가 여러 토큰으로 매핑되고, 전부 단어인 것도 아님. 일부 토큰은 문장부호, 수정자, 제어 토큰임  
    멀티모달 LLM에서는 일부 토큰이 이미지와 오디오 데이터를 나타내기도 함  
    LLM은 이 모든 것을 처음부터 알려 받지 않고, 모든 토큰의 의미를 맥락에서 배워야 함  
    엄밀히 말해 LLM 안에 가중치가 아닌 무언가가 있다는 점에서는 맞지만, 그건 그다지 구조화되어 있지 않음. 사실상 LLM이 바깥세상과 상호작용하기 위한 장치에 가까움  
    LLM이나 토크나이저 안에 전용 **문법 규칙** 구조는 없음. 모두 맥락에서 학습해야 하고, 80개 층의 가중치 일부로 인코딩됨
  - 1991년 이야기에서 얻은 결론이 “튜링 완전성이 있으면 계산 기질은 중요하지 않다”는 것인가?
  - 그 논문은 모델을 “강하고 일관된 문법을 가진 언어”로 학습한 게 아님  
    **수학 연산표**는 언어가 아님  
    문법 자체가 사후 합리화이며, LLM이 문법 규칙을 따른다는 증거는 뇌가 문법 규칙을 따른다는 증거 이상으로 없음  
    물론 데이터셋이 요구한다면 트랜스포머가 단순한 규칙을 배울 수 없다는 뜻은 아님
  - “프랙털처럼 틀린”인가, “사실상 틀린”인가?  
    너무 많은 층위에서 틀려서 프랙털이 필요하다는 뜻이라면, 대신 신경망을 쓰면 어떨까?
  - 토크나이저가 사전이 아닌 건, 알파벳이 사전이 아닌 것과 같음

- 그것들은 한 상태로 얼어붙은 **기호학적 기반시설**임  
  계속 인지적인 것처럼 꾸미고 인지 용어로 틀 짓는 척을 그만해야 함. 정말 멍청한 일임  
  컴퓨터과학자들에게 미안하지만, 기호학이 이미 당신들 우유를 가져갔음

- 원작의 단편 영화 버전도 훌륭함: [https://www.youtube.com/watch?v=T6JFTmQCFHg](<https://www.youtube.com/watch?v=T6JFTmQCFHg>)  
  **Tom Noonan**과 **Ben Bailey**가 출연함

- 동의함. 트랜스포머가 그냥 **말을 할 수 있다**는 사실은 꽤 이상한데, 이제 너무 정상화되어 버렸음  
  우리는 그것들이 미칠 영향이나 사람들이 말하는 일을 실제로 할 수 있는지만 이야기하고, 말할 수 있다는 사실 자체가 얼마나 미친 일인지는 별로 이야기하지 않음
  - LLM은 정말 세상을 바꿨음  
    내 생전에 이런 게 가능하리라고는 생각하지 못했음
  - 주름진 흐물흐물한 덩어리를 보고 궁금해한 적이 있다면, 그것도 꽤 미친 일임  
    [https://web.mit.edu/people/dpolicar/writing/prose/text/think...](<https://web.mit.edu/people/dpolicar/writing/prose/text/thinkingMeat.html>)

- 선형대수만으로는 실제로 불가능함  
  LLM에서 보는 표현력을 얻으려면 **비선형성**이 필요함

- 재미있음  
  Terry Bisson에 대한 오마주일 뿐 아니라, 그의 텍스트에 **새로운 차원**까지 더해 줌. 잘했음

- 가중치만 있는 게 아님. **편향**도 있음!
