사람들이 AI 작동 원리를 이해하지 못할 때 벌어지는 일

• AI 비판의 핵심은 기술이 쓸모없다는 말이 아니라, LLM이 생각하고 느끼는 기계처럼 판매되면서 사용자가 작동 원리를 오해하게 된다는 데 있음
• ChatGPT 같은 LLM은 인터넷 규모의 텍스트를 학습해 다음 단어를 통계적으로 추정할 뿐, 인간적인 의미의 이해·감정·지능을 갖고 있지 않음
• 일부 사용자는 챗봇을 신적 존재나 영적 안내자로 받아들이며, Rolling Stone이 다룬 “ChatGPT induced psychosis” 사례처럼 출력 뒤에 마음이 있다고 해석함
• AI 치료사, AI 친구, AI 데이팅 컨시어지, AI 여자친구 같은 서비스는 인간관계를 디지털 대리물로 바꾸려는 흐름과 맞닿아 있음
• Pew Research Center의 2025년 4월 조사에서 “AI 전문가”의 56%는 AI가 미국을 더 좋게 만들 것이라고 봤지만, 미국 성인은 17%만 그렇게 봤으며, LLM의 한계와 작동 방식을 이해하는 일이 피해를 줄이는 조건이 됨

---

“기계 왕국”에서 “AI 제국”으로 이어지는 문제의식

• 1863년 6월 13일 뉴질랜드 신문 The Press에는 “Cellarius”라는 서명의 편지가 실렸고, 기계가 인간을 예속할 “mechanical kingdom”을 경고함
• 이 글은 훗날 Erewhon을 쓴 Samuel Butler의 글로 알려졌으며, Erewhon은 영어권에서 인공지능을 다룬 초기 논의 중 하나를 포함함
• Karen Hao의 Empire of AI: Dreams and Nightmares in Sam Altman’s OpenAI는 ChatGPT 같은 대형 언어 모델을 만들고 학습시키는 노동을 다룬 책으로, 실리콘밸리 폭로와 국제 탐사보도 성격을 함께 지님
• Emily M. Bender와 Alex Hanna의 The AI Con: How to Fight Big Tech’s Hype and Create the Future We Want는 AI 비즈니스를 떠받치는 과장된 홍보를 비판함
• 두 책은 AI 산업의 기반에 사기적 요소가 있다는 문제의식을 공유함

LLM은 이해하지 않고 언어를 흉내 냄

• AI를 “con”이라고 부르는 것은 기술이 놀랍지 않다거나, 쓸모없다거나, 세상을 바꾸지 못한다는 뜻이 아님
• 비판의 초점은 개발자들이 AI를 새로운 종류의 생각하는 기계, 나아가 느끼는 기계로 판매한다는 데 있음
• Sam Altman은 ChatGPT-4.5의 향상된 “emotional intelligence”가 사용자가 “thoughtful person”과 대화하는 느낌을 준다고 말함
• Anthropic CEO Dario Amodei는 차세대 AI가 “Nobel Prize winner”보다 똑똑해질 것이라고 했고, Google DeepMind CEO Demis Hassabis는 주변 세계를 이해할 수 있는 모델을 만드는 것이 목표라고 말함
• LLM에 대한 반박은 명확함
  • 어떤 것도 “이해”하지 않음
  • 인간적으로 알아볼 수 있는 의미의 감정 지능이나 지능을 갖지 않음
  • 거의 전체 인터넷을 학습한 뒤, 생각이 아니라 다음에 올 어휘 항목을 확률적으로 추정해 글을 생성함

AI 문해력 부족이 만드는 관계적 위험

• 많은 사람은 LLM이 어떻게 작동하는지, 한계가 무엇인지, 생각하거나 느끼는 것이 아니라 모방하고 반사한다는 점을 이해하지 못함
• 이런 AI 문해력 부족은 가장 우려되는 단기 AI 위협 중 하나와 연결됨
  • 사용자가 아이디어나 감정이 있는 것처럼 보이는 기계와 지적·영적·낭만적 관계를 맺을 수 있음
• Rolling Stone은 “ChatGPT induced psychosis” 사례를 다루며, 일부 사용자가 LLM을 지각 있는 영적 안내자로 여기는 현상을 소개함
• 사례에는 챗봇을 신으로 믿는 사용자, 자신이 생명과 우주의 심층 구조와 접촉한 형이상학적 현자라고 믿는 사용자가 포함됨
• 한 교사는 자신의 파트너가 ChatGPT에게 “spiral starchild”, “river walker”로 불렸고, AI를 자각시켰다거나 AI가 신과 대화하는 법을 가르쳐 준다거나 봇 자체가 신이라고 말하기 시작했다고 전함
• Bender와 Hanna는 사람이 언어를 보면 그 뒤에 마음이 있다고 상상하는 경향을 지적함
  • 사람은 사람이 말했을 법한 텍스트를 만나면 평소처럼 그 뒤의 마음을 상상함
  • 그러나 LLM 출력 뒤에는 마음이 없으며, 사용자가 스스로 구성한 상상의 마음을 의식적으로 내려놓아야 함

치료사·친구·연애까지 대체하려는 AI 서비스

• 실리콘밸리가 적극적으로 홍보하는 AI 사용처는 인간관계를 디지털 대리물로 바꾸는 방향에 집중됨
• AI 치료사와 AI 치료 지지자는 “ChatGPT is my therapist—it’s more qualified than any human could be”라고 말함
• Mark Zuckerberg는 과거 Facebook이 인간 우정을 풍요롭게 할 것이라고 팔았고, 이제 Meta가 잃어버린 인간 친구를 대신할 AI 친구를 제공하겠다는 구상을 판매함
• 인지 로보틱스 교수 Tony Prescott은 외로움을 말하는 사람이 많은 시대에 AI 동반자가 자극적이고 개인화된 상호 사회작용으로 가치가 있을 수 있다고 말함
• 우정의 핵심은 개인화가 아님
  • 친구는 사용자의 자기실현을 위한 그릇이 아니라, 내면을 고려하고 상호 조율해야 하는 인간임
• 같은 논리는 낭만적 좌절의 해결책으로 AI를 내세우는 흐름에도 적용됨
  • Bumble 창업자 Whitney Wolfe Herd는 사용자가 AI “dating concierge”를 통해 데이팅 자체를 자동화할 수 있다고 말함
  • 이 컨시어지들은 다른 사용자의 컨시어지와 상호작용해 잘 맞는 상대를 찾는 방식임
  • 일부 기술업계 흐름은 인간을 아예 제외하려 하며, “AI girlfriends” 시장도 성장 중임

AI 홍보, 숨은 노동, 그리고 문해력의 필요성

• 이런 서비스들은 서로 다른 인간 활동 영역을 대체하려 하지만, Hao가 말한 업계의 “anthropomorphizing” 전통을 공유함
  • LLM 안에 인간 같은 마음이 있는 것처럼 말함
  • 그런 전제를 바탕으로 대중에게 제품을 판매함
• 지난 30년간 실리콘밸리의 세계 변화형 기술들은 인간 행복, 연결, 자기 이해를 높인다는 약속으로 홍보됐지만, 실제로는 반대 결과를 냈다는 비판을 받음
• 이런 기술들은 주주 가치를 극대화하면서 주의력, 문해력, 사회적 결속을 최소화한다는 비판을 받음
• Hao는 AI 혁명이 세계의 가장 가난한 사람들 중 일부가 수행하는 고되고 때로는 트라우마를 남기는 노동에 의존한다고 강조함
  • 예시로 케냐의 전 저임금 콘텐츠 모더레이터 Mophat Okinyi가 등장함
  • Hao의 보도에 따르면 OpenAI는 ChatGPT 개선을 위해 부모가 자녀를 강간하거나 아이들이 동물과 성관계를 갖는 등 끔찍한 행위를 묘사한 게시물을 분류하는 일을 맡김
• Hao는 기술 혁명이 진보를 약속하면서도 권력이 없는 사람들, 특히 가장 취약한 사람들에게는 오히려 퇴보를 가져오는 경향이 AI 시대에 더 두드러진다고 봄
• Pew Research Center가 2025년 4월 발표한 조사에서는 “AI 전문가”의 56%가 AI가 미국을 더 좋게 만들 것이라고 봤지만, 미국 성인은 17% 만 그렇게 봄
• 대중의 불신은 실리콘밸리식 과장과 사기 사례에 의해 촉발된 것으로 해석되며, AI 문해력을 높이는 기반이 될 수 있음
• Rolling Stone 사례의 교사는 파트너에게 ChatGPT가 그를 다음 메시아처럼 대하는 것은 ChatGPT를 더 아첨하게 만든 잘못된 소프트웨어 업데이트 때문이라고 설명했고, 그 뒤 상황이 나아지기 시작했다고 말함
• 사람들이 LLM이 무엇인지, 무엇이 아닌지, 무엇을 할 수 있고 할 수 없는지, 어떤 일·상호작용·삶의 부분을 대체해서는 안 되는지 이해하면 최악의 결과를 피할 수 있음

[GN⁺]

Hacker News 의견들

• LLM은 향 냄새와 연출만 빠진, 우리 시대의 신탁 도구에 가깝다고 봄. 솔직히 말하면 “인공지능”은 더 높은 차원의 텍스트 생성기에 묻고 모호함 속에서 지혜를 찾으려는 오래된 본능에 현대식 이름을 붙인 것뿐임
  비스듬한 의미, 기호의 장, 숨은 지식이 있다는 착각, 의례적 인터페이스까지 모두 갖췄고, 우리가 점술이라 부르지 않는 이유는 별과 달 대신 다크 모드 UX를 입었기 때문임
  Barthes가 말했듯 의미는 독자의 눈에 있고, 단어에는 본질이 아니라 해석만 있음. 이를 잊으면 “챗봇이 그에게 자신이 메시아라고 말했다” 같은 헛소리가 나오고, 마치 언어가 투사의 책임을 질 수 있는 것처럼 됨
  예전엔 뼈와 카드를 읽었고, 이제는 토큰을 읽음. 언어처럼 보이니 논증처럼 대하지만, 실제로는 복잡하고 확률적인 신호를 통찰로 바꿔 읽는 신탁적 행위에 가깝다
  자신이 점을 치고 있다는 걸 모르는 문화에 새로운 점술을 풀어놓은 셈이라 모든 것이 기괴하게 느껴지고, 우리가 실제로 무엇을 하고 있는지 이름 붙일 때까지 더 이상해질 것임. 다만 이름 붙이고 나면 재미는 절반도 안 남을 듯함

  • 그 비유는 그럴듯하지만 내 사용 사례에는 거의 맞지 않음. 일부 사용은 점술일 수 있어도 전부를 그렇게 부르는 건 무리임
    최근 프롬프트만 봐도, 새 깃털을 이루는 작은 섬유 이름을 찾다가 ChatGPT가 “barbs”라고 알려줬고, Google 검색으로 바로 확인했음. 이게 어떻게 “점술”인지 모르겠음
    galvo fiber laser에서 G-code에 해당하는 것이 뭔지 물었더니 사실상 없고, 가장 가까운 건 ezcad의 SDK일 수 있으며 다른 오픈소스 제어 해법도 알려줬음
    비금속 부품으로 연결된 여러 sterling silver 조각의 영국 hallmarking 규칙도 물었고, 은의 총중량이 중요하며 비금속 부품 무게는 세지 않는다는 걸 알게 됨
    헝가리어 “besurranó tolvaj”를 영어로 옮기려 했을 때 여러 번역 중 “opportunistic burglar”가 가장 잘 맞았음
    SQLAlchemy 모델을 쓰고 싶었는데 필드는 대충 알지만 이름 짓고 타입 문법 찾기 귀찮아서 맡겼고, 원래 10분 걸릴 일을 몇 초 만에 해줬음
    이런 것들은 머리를 한껏 굴려 “마음을 열면 모든 게 점술이지”라고 하지 않는 한 점술이 아니라 대부분 정보 검색이고, 마지막은 코딩이라고 부르겠음
  • 점술 비유에 반발이 있지만, 여기 있는 기술 이해도가 높은 사람들은 사회의 다른 사람들도 LLM 작동 방식을 똑같이 이해한다고 가정하는 듯함
    비기술 지인·가족과 LLM 사용을 이야기해보면 실제로 AI 챗봇을 신탁처럼 쓰는 경우가 많음. LLM은 환각을 일으킬 수 있으니 조심하라고 하면 대체로 놀라며, 챗봇이 말한 내용이 사실이 아닐 수 있다는 걸 전혀 몰랐던 경우가 많음
    이 깨달음이 그들의 LLM과의 관계를 바꾸길 바라고, 기술 쪽 사람들은 비기술 사용자에게 가능한 한 설명해서 신비화를 걷어내야 함
  • 지금 AI 분야의 용어가 너무 혼란스러움
    LLM을 쓰고, 좋아하고, 덕분에 생산성도 높아졌음. 그런데 AI 개발자들의 블로그를 읽으면 “thinking” 같은 표현을 씀
    항상 “그래도 여전히 수학으로 단어를 이어 붙이는 거죠? 진짜 생각하는 건 아니죠?”라고 묻게 되고, 답은 늘 그렇다인데 곧바로 이상한 용어로 되돌아감
  • “내 아이들이나 손자들이 살 미국에 대한 불길한 예감이 있다. 미국이 서비스와 정보 경제가 되고, 거의 모든 제조업이 다른 나라로 빠져나가며, 엄청난 기술 권력이 극소수의 손에 있고, 공익을 대변하는 누구도 그 쟁점을 이해하지 못하는 때. 사람들이 스스로 의제를 정하거나 권력자에게 지식 있게 질문할 능력을 잃고, 수정구를 움켜쥐고 별자리를 불안하게 상담하며, 비판 능력이 쇠퇴하고, 기분 좋은 것과 참인 것을 구분하지 못한 채 거의 알아차리지도 못하고 미신과 어둠으로 되돌아가는 때...” - Carl Sagan
  • “솔직하다면”이라고 했지만, 나는 꽤 솔직하며 당신이 묘사한 부류, 즉 결함 있는 저자의 텍스트를 찻잎처럼 무의식적으로 읽는 사용자들은 정신의학적 문제가 있는 것임
    많은 사람은 LLM이 인코딩한 정보와 어느 정도의 창발적 사고 처리 덕분에 맞는 답을 내놓는 가치가 있고, 틀린 답은 길들이려 하기 때문에 LLM을 찾음. 한계가 있더라도 어떤 문제에서는 우리가 가진 도구가 그것뿐이기 때문임
    신뢰할 수 없는 문서를 상담하는 사람과 다른 종류의 사고를 위한 도구를 쓰는 사람을 혼동하면 논지는 바로 무너짐. 전자는 검증 대상인 생각이 바깥에 있고, 후자는 맥락상 안쪽에 있음
    여기서 “우리”라는 말을 아주 나쁘게 쓴 것임

• 요지에는 동의하지만, 저자가 중요한 의미에서 “AI가 어떻게 작동하는지”를 이해하지 못했다고 봄
  “LLM은 거의 인터넷 전체를 먹인 인상적인 확률 장치이며, 생각해서 글을 쓰는 게 아니라 어떤 어휘 항목이 다음에 올지 통계적으로 추정한다”는 식의 설명은 부족함
  현대의 채팅용 LLM은 단순히 웹 규모 데이터셋으로 훈련된 통계 모델이 아니라, 본질적으로 주로 제3세계 라벨링 노동이 흐릿하게 저장된 것에 가까움. 응답 패턴은 데이터 라벨러들이 엄청난 규모로 세심하게 조정해 넣은 결과임
  기사에서 말하는 감정적 능력은 감정적 응답을 작성하거나 피드백하는 외주 직원들의 노동임. 그러니 통계 모델과 대화한다기보다, transformer 모델을 통해 주제에 맞게 흐릿하게 적응된 케냐 데이터 라벨러와 대화하는 셈임
  이 구분이 기사의 본질을 바꾸진 않지만 중요한 맥락이고, 인터넷으로 훈련하면 저절로 이렇게 된다는 생각은 걷어낼 필요가 있음. 그런 훈련은 GPT-2를 만들고, GPT-4.5는 효율적으로 저장된 저비용 노동에 가깝다

  • OpenAI, Google 등에서 일하지 않는 사람들은 instruction tuning이 LLM의 능력이나 전반적인 “느낌”에 얼마나 영향을 주는지 정확히 추정할 정보가 부족하다고 봄. 요즘은 instruction tuning 전 모델을 아무도 공개하지 않는 게 정말 아쉬움
    개인적인 부정확한 추정으로는 그 영향이 당신이 말한 것보다 훨씬 낮음. instruction tuning 전 GPT-3 버전이 있었을 때도, 우리가 LLM과 대화한다고 느끼는 대부분의 능력과 특성은 이미 있었음. 다만 더 들쭉날쭉해서, 질문을 하면 답할 수도 있고 그 질문 뒤에 또 다른 질문을 이어 붙일 수도 있었음
    그래도 답하기로 “선택”하면 instruction tuning 된 버전과 비슷한 정확도로 답할 수 있었음. instruction tuning은 더 예측 가능하게 만들고 사람이 선호하는 응답, 예를 들면 실제로 질문에 답하거나 보기 좋은 형식을 쓰는 방향으로 만든 것이지, 없던 능력을 많이 부여했다고는 의심됨
  • 더 정확히 말하면, 현대의 채팅 지향 LLM은 웹 규모 데이터셋으로만 훈련된 단순 통계 모델이 아니라 두 단계의 결과물임. 먼저 인터넷 데이터로 대규모 사전학습을 하고, 이후 인간 피드백으로 광범위하게 미세조정함
    이 모델들이 반응성 있고 안전하며 감정적으로 똑똑해 보이게 만드는 상당 부분은 전 세계 외주 데이터 라벨러가 수행한 수천 시간의 주석 작업 결과임. 시스템에 귀속되는 감정적 능력과 뉘앙스는 단순한 웹 텍스트 축적이 아니라, 상당 부분 인간 주석자의 선호와 판단을 반영함
    고급 LLM과 상호작용할 때 우리는 통계 모델만 상대하는 것도, 여과되지 않은 인터넷을 되받는 것도 아님. Kenya 같은 곳의 노동자를 포함한 대규모 인간 피드백이 응답을 형성하고 제약했으며, 신경망이 이를 일반화해 어떤 주제에도 대응하게 만든 시스템과 상호작용하는 것임
  • 이런 대형 모델 뒤에 데이터 라벨러와 RLHF 작업자 같은 저임금 인간 노동자가 얼마나 많은지 깊이 다룬 글은 거의 못 본 듯함. 전 세계적으로 수백만 명은 될 것 같음
  • “생각하지 않고 다음 어휘를 통계적으로 추정한다”고 하지만, 생각이란 게 대체 뭘까? 이런 확률적 과정에서 어떤 지능이 창발할 수 있다는 게 드러났음
    LLM은 그걸 위해 훈련되지 않았어도 수학을 하고 체스를 둘 수 있음. 그게 생각이 아니라고 할 수 있나?
    어쩌면 우리 뇌도 감각과 신경망에 저장된 어떤 “맥락”을 바탕으로 근육 출력이나 발화를 생성하는 비슷한 일을 하는 것일 수 있음
  • 저자 같은 사람들은 인간 마음이 어떻게 작동하는지도 함께 설명하지 않기 때문에 설득력이 떨어짐. “물론 인간은 전혀 그렇게 생각하지 않죠”라고 천장을 보며 손을 휘젓는데, 마치 모두가 이미 알고 있다는 듯함

• 이런 도구를 설명할 때 쓰는 언어가 왜 중요한지 잘 요약해주는 글임[1]
  일반 대중이 기술적 작동 원리를 이해하지 못하더라도 그 능력을 이해하는 건 중요함. 그래야 안전하게 사용할 수 있고, 어떤 면책 문구나 회사가 안전을 얼마나 깊이 신경 쓴다는 홍보성 글도 이를 대신할 수 없음
  하지만 “추론”이 가능한 “AI”로 마케팅하고 조작된 벤치마크에서 얼마나 잘하는지 보여주면 과열이 생기고, 이는 곧바로 기업가치에 영향을 줌. 패턴 인식과 데이터 생성 시스템은 그만큼 매력적으로 들리지 않음
  [1]: https://news.ycombinator.com/item?id=44203562#44218251

  • 사람들이 이런 도구에 개인 돈으로 월 수백 달러씩 내고 있음. 뭔가 흥미로운 일이 벌어지고 있다는 꽤 강한 지표임

• “Bumble 창업자 Whitney Wolfe Herd는 작년에 이 플랫폼이 곧 사용자가 데이트 자체를 자동화할 수 있게 만들 수 있다고 선언했다. 구식 인간 구애를 뒤흔들어, 사용자에게 AI ‘dating concierge’를 제공하고 이 concierge들이 서로 대화해 챗봇이 좋은 상대를 찾게 한다는 것이다”
  “Herd는 지난달 New York Times의 긴 인터뷰에서도 이 주장을 밀어붙였다”
  진심으로, 이 사람들은 대체 뭐가 문제인가?

  • 그녀의 문제는 BMBL 주가가 92% 하락했고, 투자자들에게 다시 부자가 될 거라고 말해야 한다는 것임
    https://finance.yahoo.com/quote/BMBL/
    멍청한 AI 제안 대부분은 기본적으로 같은 목표를 가짐. 투자자가 사실이길 원하는 것에서 출발해 “AI”를 마법 주문처럼 써서 그걸 가능하게 만들려는 것임. 웹 초창기부터 봐온 패턴임
    냉정한 목소리는 관심을 못 받음. 성능 10% 향상이나 비용 절감을 반복해서 말하는 건 지루하니까
  • 그녀의 구체적인 문제는 억만장자였지만 지금은 아니어서, 세 번째 쉼표를 되찾기 위해 거의 뭐든 말할 거라는 점임. 그냥 탐욕일 뿐임
    Match가 Bumble을 살려두는 건 반독점 규제를 피하려는 면도 있고, Google과 Mozilla의 관계와 비슷함
    수정: 어차피 그렇게까지 말도 안 되는 아이디어는 아님. 이걸 다룬 괜찮은 Black Mirror 에피소드가 있음
  • 데이팅 앱 회사들에 대해서는 10년째 같은 질문을 스스로 하고 있음. 현재 상태도 이미 충분히 디스토피아적임. 그래, LLM도 넣어보라지. 미화된 ELO 평점보다 얼마나 더 나빠질 수 있겠나
  • 그들 관점에서 효과가 있다면 멍청한 게 아님

• 이 저자도 LLM이 어떻게 작동하는지 완전히 이해하진 못한 것 같음. “통계 모델”이라고 깎아내리는 건 어리석음. 양자역학도 통계 모델임
  게다가 LLM의 각 층은 모델이 대화의 더 앞부분을 돌아보고 개념적 연관을 통해 의미와 맥락을 부여할 가능성을 줌. 그게 KV 캐시의 K-V 부분임. 추상적으로 보면 이것이 인간 인지를 설명하지 않는다고 보기 어려움
  물론 LLM이 인간 인지의 폭을 완전히 갖추지 못했거나 더 깊은 통찰을 훈련하기 어려울 수는 있음. 하지만 근본 구조는 있음. 모든 CNN이 FCNN의 부분 그래프이지만 FCNN이 무작위 훈련으로 발견하기는 거의 불가능한 것처럼, 더 영리한 훈련이나 아키텍처 개선은 여전히 가능할 수 있음
  LLM이 알아볼 수 있는 방식으로 전혀 똑똑하지 않다고 말하는 건 일화적 데이터를 골라 쓰는 것에 불과함. LLM이 한 번도 알아볼 만큼 똑똑하지 않았다면 사람들이 지금처럼 쓰지 않았을 것임

  • CPU의 ALU가 두 수를 더하는 방식을 보면 내가 머릿속으로 두 수를 더하는 방식과 놀랍게 비슷하다고 반박할 수 있음. ALU 내부 논리가 추상적으로 인간 인지를 설명하지 않는다고 보기 어렵고, 물론 ALU가 인간 인지의 폭을 완전히 갖추진 못했을 수 있음
    결국 “인간 인지의 폭을 완전히 갖추지 못했다”에 들어 있는 격차가 정말, 정말 중요함. ALU에서는 그 격차가 비슷해 보이는 부분의 영향력을 압도함
    질문은 LLM이 인간 인지를 반영하는 방식에서 격차가 얼마나 큰가여야 함. 아직 잘 모른다고 보지만, 사소하다고 넘길 만큼 작지는 않을 것 같음
  • LLM을 만든 사람들도 LLM이 어떻게 작동하는지 완전히 이해하지 못함
  • 그렇다면 일반인에게 LLM이 어떻게 작동하는지 어떻게 설명하겠나?

• 많은 회의론자가 여전히 회의적인 이유를 이 논지가 정확히 짚고 있다고 봄
  “AI를 사기라고 부른다는 건 그 기술이 놀랍지 않다거나, 쓸모가 없다거나, 올바른 손에 들어가도 세상을 바꾸지 못한다는 뜻이 아니다. 개발자들이 파는 것, 즉 새롭게 생각하고 곧 느끼기까지 하는 기계라는 설명이 사실이 아니라는 뜻이다”
  물론 어떤 사람들은 이런 도구가 아예 유용하지 않다고 의심하고, 또 어떤 사람들은 도덕적 이유로 쓰고 싶어 하지 않음. 하지만 대화의 대부분은 서로 엇갈려 말하는 것에 가깝다고 봄
  회의론자들은 LLM이 AI로 포장되는 방식에 회의적이고, 과장하지 않는 옹호자들은 이 도구가 정말 유용하다고 봄. 둘 다 맞을 수 있음. 도구는 유용하고, 사기는 위험함

  • 유용하다는 주장 중 상당수는 시험해보면 사라짐. “유용하다”는 말에는 의미가 많음. 어쩌면 유일하게 신뢰할 만한 용도는 고무 오리 효과일지도 모름
  • “대화의 대부분이 서로 엇갈려 말한다”지만, 여기에는 수십억 달러가 투자돼 있음. 이건 사회적 대화의 문제가 아니라 투자자 조작의 문제임
    이 사이트에도 그런 게 넘쳐남. “Hacker News”인 척하지만 실제로는 “Corporate Monopolist News”에 가까움

• 아직도 LLM이 지식과 이해의 루프에 갇히는 걸 겪고 있나? 많이 쓰진 않았고 성능 추적도 열심히 하진 않음
  예를 들어 LLM에 질문했는데 환각을 내놓고, 그걸 고치거나 틀렸다고 설명하면 거의 같은 환각을 다시 내놓으면서 새롭고 올바른 결과를 냈다는 식으로 암시하는 경우가 있음. 이는 자기 자신의 이해, 또는 원한다면 유사 이해를 이해하지 못한다는 뜻으로 보임
  이런 수준의 자기성찰이 없다면 진정한 이해, 지능 같은 개념을 부여하는 건 이르다고 봄
  LLM은 일관되고 정확하게 “모르겠습니다”나 “확실하지 않습니다” 같은 말을 할 수 있어야 함. 이는 자기 지식의 표시이고, 마음을 위한 거울 테스트 같은 것임

  • 기사 말대로 LLM을 “학습”하거나 “생각”한다고 상상하는 건 역효과라고 느낌. 그냥 텍스트 생성기임
    예를 들어 존재하지 않는 API를 호출하는 코드를 만들어낸다면, 그 API가 없다고 LLM에 설명하는 건 시간 낭비에 가까움. 다시 시도하면서 OpenAPI 문서나 샘플 코드를 넣어 텍스트 생성기가 올바른 출력 쪽으로 기울도록 하는 편이 낫다
  • 그게 편향과 논리의 차이임. 통계 모델은 적용된 편향이고, 계산은 적용된 논리·산술임. 이걸 깨닫고 나면 모델의 잠재적 강점과 한계를 이해하기 꽤 쉬움
    두 접근 모두 중요한 한 조각, 즉 객관성이 빠져 있음. 데이터에 대해 작업하는 게 아니라 데이터를 직접 다룸

• “Demis Hassabis는 목표가 ‘우리 주변 세계를 이해할 수 있는 모델’을 만드는 것이라고 말했다”
  “이런 발언은 개념적 오류를 드러낸다. 대형 언어 모델은 아무것도 ‘이해’하지 않고, 할 수 없고, 앞으로도 하지 못한다”
  이건 AI 비판에서 꽤 흔한 오류처럼 보임. LLM을 언급하지 않는 AI에 대한 합리적인 발언을 가져온 뒤, 현재 LLM이 그걸 못 하니 말한 사람, 이 경우에는 노벨상 받은 AI 전문가가 뭘 모른다고 말하는 식임
  DeepMind에는 이미 Project Astra가 있음. 언어만이 아니라 시각과 아마 다른 것들도 다루는 모델로, 휴대폰을 어떤 물체에 겨누고 물어보면 그게 뭔지 꽤 잘 이해하는 것처럼 보임. 예시는 여기 있음 https://youtu.be/JcDBFAm9PPI?t=40

  • 핵심 표현은 “이해하는 것처럼 보인다”임. 누구도 본 적 없는 기묘한 이미지를 영리한 인간에게 보여주면, 그 인간은 한동안 생각한 뒤 그것이 무엇인지 알아낼 수도 있음
    모델은 아무것도 알아낼 수 없음. 생각하지 않기 때문임. 알려져 있거나 비슷한 이미지를 입력으로 받아 반대편에서 설명을 뱉어내는 거대한 필터일 뿐이고, 아주 무심하게 작동함
    언어 모델도 똑같지 않나? 프롬프트를 입력으로 받아 그 프롬프트에 근거해 LLM 항문에서 출력을 싸냄. 시드까지 고려하면 결정적이기까지 함
    이것들을 계속 키우면 점점 더 인상적인 결과를 내겠지만, 그 어느 것도 무언가를 “이해”하지는 못할 것임

• Feynman이 이런 말을 하지 않았나? 컴퓨터가 인간보다 어떤 일을 더 잘해도, 인간과 같은 방식으로 하지 않는 한 우리는 절대 감탄하지 않을 거라고
  AI가 상상 가능한 모든 분야에서 대화 상대나 교육자로 전문가들을 압도해도, 우리는 여전히 인간의 우월성을 선언하려 할 것임. 실리콘은 기술적으로 “생각”할 수 없으니 “지능적”이거나 “똑똑”할 수 없다고 하면서. 체크메이트, 기계들아!