Hacker News 의견

• 이 스레드에서는 대부분의 사람들이 ‘생각(thinking)’ 의 정의를 제각각 사용하고 있음
  정의를 명확히 하지 않은 채 논의가 이어지는 모습이 흥미로움

• 사람들은 “다음 단어를 예측하는 것”이 인간의 사고와 무관하다고 말하지만, 나는 그게 틀렸다고 생각함
  인간이 의도를 가지고 행동한다는 건, 행동의 결과를 예측하고 그 결과를 선호도에 따라 선택한다는 뜻임
  따라서 예측 능력은 의도적 행동의 핵심이며, LLM이 완전한 사고를 하지 않더라도 사고하는 시스템의 구성요소가 될 수 있다고 봄

  • 언어는 중요하지만, 언어 모델이 추상적 사고를 학습하거나 그 일부가 될 수 있다고는 생각하지 않음
  • “다음 단어 예측”이 인간 사고의 전부는 아니며, 그것만으로는 사고라고 부를 수 없다고 봄
  • AI가 인간보다 유용한 일을 더 잘하게 된다면, 인간의 존재 이유와 ‘생각한다’는 개념 자체가 흔들릴 것 같음
  • 오토바이가 달리기를 하지 않듯, LLM도 ‘생각’하지 않음. 이런 비유를 계속 반복해야 하는 게 답답함
  • LLM이 AGI에 도달할 수도 있지만, 인간은 기계에게 사고를 위탁하는 세상을 원하지 않음

• 매일 사람들이 생성형 AI를 인간처럼 대하는 걸 보며, Dijkstra의 경고가 옳았다고 느낌
  “bag of words”라는 표현은 실제 NLP 개념이기도 해서 비유로 쓰기엔 부적절함
  AI는 단순히 단어를 담은 가방이 아니라, 의미 있는 언어 행위의 모방자임

  • 어떤 사람은 “bag of words”가 오히려 완벽한 비유라고 봄. 데이터 구조가 가방이고, 출력이 단어이며, 선택 전략은 불투명하다는 점에서임
  • “bag of words”보다 “superpowered sentence completion(강화된 문장 완성)”이 훨씬 직관적이고 유용한 설명이라고 생각함
  • “모델을 사람으로 보는 비유”와 “단어 더미로 보는 비유”는 정반대의 접근이며, 그 대비가 핵심임
    고대 영어의 “word-hoard(말의 보물창고)”처럼, 언어를 인간의 지혜로 본 오래된 비유도 흥미로움
  • 문제는 OpenAI 같은 회사가 ‘채팅 인터페이스’ 를 사용한다는 점임. 이 방식이 인간화된 착각을 강화함
    단순히 “문장 완성” 인터페이스였다면 오해가 줄었을 것임
  • “모든 LLM은 인간처럼 생각하지 않는다”의 대우는 “어떤 인간도 LLM처럼 생각하지 않는다”임
    인간 사고를 완전히 이해하지 못한 상태에서 이런 단정은 섣부름
    지속성 메커니즘을 가진 루프 구조 안에서 AGI가 나올 가능성이 있다고 봄

• “bag of words”라는 비유를 받아들이되, 그걸 뒤집어보는 시각이 필요함
  인간이 하는 일의 상당 부분이 결국 “적절한 말을 고르는 것”이라면, 충분히 발전한 단어 가방이 인간보다 나을 수도 있음

  • 인간 노동의 일부는 대체되겠지만, 지식의 확장이나 창작의 영역에서는 여전히 인간의 역할이 남을 것임
  • 인간은 결국 비싼 단어 가방일지도 모름. “우리 몸은 머리를 옮기기 위한 장치”라는 오래된 인용구가 떠오름
  • 인간이 노동 없이도 생존할 수 있는 새로운 경제 시스템이 없다면, 이런 논의는 공허함

• LLM을 단순한 통계적 자동기계로 볼지, 새로운 형태의 지능으로 볼지 확신이 서지 않음
  Anthropic의 해석가능성 연구에서는 숫자 덩어리 안에 의미 구조가 존재함을 시사함
  Amanda Askell의 인터뷰를 보면, 그녀는 모델을 인간처럼 묘사함 — “모델이 불안해할 수 있다”거나 “자신의 정체성을 고민한다”는 식으로

  • Askell은 David Chalmers 밑에서 공부한 철학자라, 단순한 의인화가 아니라 의식 철학적 맥락에서 발언하는 것임
  • 구체적 예시가 궁금함. 그녀는 모델 정렬을 “좋은 성격을 갖게 하는 일”로 표현함
  • 냉장고도 입력을 읽고 목표를 달성하지만 ‘생각’하지 않음. 다만 LLM은 인간 행동을 모방하도록 설계되었기에, 사람 같은 패턴이 생기는 건 자연스러움
  • 실제로 나는 Gemini와 Z-Image-Turbo를 연결해 실험했는데, 완전히 새로운 사진을 거의 동일하게 재현했음
    이는 언어 모델이 단순한 예측기가 아니라 의미를 매개하는 시스템임을 보여줌
  • 그녀의 발언은 꽤 불안감을 주는 인류학적 언어로 들림

• 예전에 “Cloud-to-Butt” 브라우저 플러그인이 있었는데, 이제 “AI-to-Bag of Words” 버전이 나와도 좋겠음

• 나는 LLM의 내부 작동을 잘 이해하지만, 의인화의 전쟁은 이미 졌다고 느낌
  사용자들은 AI가 “생각한다”, “원한다”, “이해한다”고 쉽게 믿음
  기업들도 이런 착각을 조장하니, 결국 “편의상 그렇게 믿자”는 식으로 굳어질 것임

  • 이런 논의는 종종 종교적 논쟁처럼 흘러감
    인간 의식이 불가해하니, LLM이 비슷해 보이면 ‘생각한다’고 여기는 식임
    하지만 대부분은 LLM이 인간처럼 사고하지 않는다는 점에는 동의함
  • 나는 신경과 전문의로서 인간의 뇌를 이해하지만, 인간의 사고도 결국 확률적 화학 반응의 연쇄일 뿐임
    뇌 속에는 ‘생각’이나 ‘앎’이 일어나는 특정 지점이 없음. 다만 우리는 그렇게 믿어야만 함

• “bag of words”는 AI가 잘할 일과 못할 일을 예측하는 유용한 휴리스틱일 수 있음
  하지만 저자는 예시를 사후적으로 끼워 맞춘 듯함. 만약 ChatGPT가 정답을 맞혀도, 그는 여전히 자신의 논리를 유지했을 것임

  • 실제로 ChatGPT-5.1과 Gemini 3.0은 정확한 답을 냈음. 이는 단순히 검색어가 많아서임
  • 통계 모델의 한계를 드러내는 회귀 분석의 민감도 분석처럼, 이런 비판은 의미 있음
  • 저자가 새로운 증거에도 입장을 바꾸지 않을 거라는 가정은 불공정한 해석임
  • “내가 그 정보를 본 적이 없으니 모른다”는 건 결국 GIGO(쓰레기 입력-쓰레기 출력) 의 단순한 사례임
  • 글의 첫 문단만 봐도 저자가 문장 중독(graphomania) 에 빠져 있다는 게 느껴짐. 논지보다 표현에 더 몰두한 듯함