2026년에 AI를 혐오한다는 것

(eamoncaddigan.net)

신경망 발전에 기대를 걸었던 20년 경력의 머신러닝 실무자가 오늘날의 AI 열풍은 효용으로 정당화할 수 없는 사회적·환경적 비용을 초래한다며 사용 거부를 택함
텍스트 생성 모델은 다음 단어를 정교하게 예측해 지시를 이해하고 인간처럼 대화하는 듯한 환상을 만들지만, 이를 인간 수준의 의식에 가까운 기술로 보는 열풍은 인지·언어 전문가들의 반론에도 계속됨
대형 기술 기업과 투자자는 신경망 자체의 혁신보다 더 큰 모델 구축에 집중하며 막대한 훈련 데이터와 에너지를 요구하고, 기후변화를 인정하면서도 화석연료 수요를 늘리는 기술을 채택하는 모순은 외면함
현대 생활에 얽힌 착취와 환경 훼손을 완전히 피하기는 어렵지만, AI는 불과 3년 전처럼 컴퓨터를 사용하면 되므로 인간과 환경의 권리를 위해 사용하지 않기 쉬운 선택지로 남아 있음
2026년의 반AI 입장은 2002년 이라크 침공을 앞둔 반전 입장과 닮았으며, 피해의 인과관계가 더 불분명하고 동료와 친구들까지 동참한다는 차이 속에서도 나쁜 선택을 보상하는 사회 구조가 반복됨

다음 단어 예측에서 산업적 열풍으로

약 15년 전 신경망 머신러닝이 두 번째 르네상스에 들어선 뒤, 이미지·음향·텍스트 등 여러 디지털 자료의 분류와 생성에서 다른 기법을 앞지름
텍스트 생성 모델은 다음 단어를 고르는 능력으로 지시를 이해하고 실제 인간처럼 대화하는 듯한 챗봇을 구현해 기업 지도자·정치인·기술 업계 종사자들을 사로잡음
이 기술은 일시적인 이해의 환상을 만드는 정교한 기법이지만, 한동안 합리적인 사람들조차 다음 단어 생성기가 인간과 비슷한 의식에 가까워졌다고 믿는 일이 흔했음
- 인지와 언어 전문가들은 그런 의식이 생기지 않는 이유를 계속 밝혔지만 열풍은 이어짐
- 여러 기술을 포괄하는 명칭으로 통용되므로 artificial intelligence를 AI라고 부름
이미 경제에서 불편할 만큼 큰 비중을 차지하면서도 생활필수품을 생산하지 않는 대형 기술 기업들이 AI에 운명을 걸었음
- 신경망 자체의 실질적 혁신은 느려짐
- 기업과 투자자는 막대한 훈련 데이터와 에너지를 요구하는 더 큰 모델 구축에 집중함
2026년에는 노골적인 기후변화 부정이 더는 유행하지 않으며, 대부분이 화석연료 의존으로 기후가 온난화한다는 과학적 합의를 인정함
- 그럼에도 AI는 사회의 석유 수요를 직접 늘리고 있으며, 에너지 요구량만으로도 채택에 부적합하다는 비판은 사용자들에게 무시됨
현재의 피해와 이런 추세가 계속될 때의 추가 피해를 지적해도, 부유한 개인과 기업이 자신들이 소유한 특정 기술 접근법 위에 미래를 건설하기로 결정하면서 우려는 배척됨
일부 사용자가 챗봇을 유용하게 여길 수는 있지만, 어떤 용도도 사회 전체가 부담하는 사회화된 비용을 정당화할 수준에는 미치지 못함
지난 10년간의 신경망 발전에 기대를 걸었던 20년 경력의 머신러닝 실무자에게도 현재의 AI 흐름은 이미 궤도를 벗어난 상태임

사용을 거부할 수 있는 기술과 반복되는 패턴

사람들은 누군가를 해친다는 이유로 사회·기술 시스템을 비판하는 도덕적 논증에 무감각해진 상태일 수 있음
- 도덕적 논증 자체에는 문제가 없지만, 부유한 국가에서 평범하게 생활하려면 수많은 사람의 착취와 유한한 환경 자원에 의존할 수밖에 없음
- 일관된 친사회적 윤리 입장도 이런 사회와 접촉하는 즉시 타협된다는 반응을 피하기 어려움
음식·옷·전자기기에 담긴 피해는 피하기 어렵지만, AI는 여전히 사용하지 않기 쉬움
- 인간과 환경의 권리를 존중하는 윤리를 실제 생활에서 실천할 수 있는 한 가지 선택임
- 불과 3년 전과 같은 방식으로 컴퓨터를 사용하면 됨
낙관적인 예측을 제외한 AI 전망이 현실화한다면, 미래의 기록자는 왜 더 많은 사람이 사용을 거부하지 않았는지 의문을 품게 됨
반AI 입장이 불러오는 감정은 미국의 이라크 침공을 앞둔 2002년 말과 비슷함
- 당시 국가 지도자들이 전쟁을 정당화하려고 거짓말하고 있으며, 소수의 부유한 사람을 제외하면 좋은 결과가 없을 것이 분명해 보였지만 언론과 대중 상당수는 비판자들을 경멸함
- 반AI 입장에서도 당시의 반전 입장과 같은 감각을 느끼게 됨
두 시기의 차이는 AI가 만드는 피해의 원인을 특정하기가 더 어렵다는 데 있음
- 지구 평균기온이 0.1도 올라갈 때 몇 명이 사망하는지, 그 상승분 가운데 특정 가스 연소 데이터센터의 몫이 얼마인지 귀속하기 어려움
- 가까운 동료와 소중한 친구들까지 AI를 사용하는 편에 서 있다는 점도 다름
기후변화, 거대 기업의 신뢰성, 존엄하게 살고 일할 권리에 관한 기존 신념을 AI 사용 중단과 연결해 동료와 친구들을 설득하려 했지만 실패함
미래의 독자에게 용서를 요구할 수는 없지만, 현재 사람들은 악인이 아니라 나쁜 선택을 보상하고 좋은 선택을 처벌하는 상황에 놓인 평범한 사람들임
생성형 AI가 지속시키는 피해를 구체적으로 정리한 To Gen or Not To Gen: The Ethical Use of Generative AI와 The AI Con을 함께 읽을 자료로 권함

이런 입장이나 뉘앙스의 글을 볼 때마다 드는 생각은, 그 조롱하듯 이름 붙인 "다음 단어 예측기" 와 사람이 크게 다르다고 할 수 있을까? 라는 점입니다. 사람의 사고라는게 경험이든 경험에 기반한 통찰이든 다음 단어를 떠올리는 행위는 크게 다르지 않은 것 같습니다. 그나마 요즘엔 그 다음 단어조차 정상적이고 합리적으로 떠올리지 못하는 사람들이 너무 많이 보이기도 하구요.

답변달기

GN⁺ 4시간전 [-]

Lobste.rs 의견들

요즘 동료들이 놓치는 사실이 하나 있다. AI를 쓰지 않는 일은 여전히 쉽다. 우리가 먹고 입고 만지는 전자기기에는 인간과 환경에 대한 수많은 피해가 얽혀 있고 이를 모두 피하기는 어렵지만, AI를 거부하는 것은 인간과 환경의 권리를 중시하는 윤리를 실제로 실천할 수 있는 드문 선택지다. 그저 3년 전처럼 컴퓨터를 쓰면 된다는 이 표현이, 내가 이 사이트에서 계속 전하려던 생각을 가장 잘 담아냈다
- 일상적 소비의 영향을 피할 수 없는 것으로 축소해서는 안 된다. 아동 노동으로 만든 옷이나 환경을 해치는 방식으로 생산된 식품을 피할 수 있으며, 이런 영역에서도 윤리적이고 지속 가능한 선택을 해야 한다
이 글은 내가 느끼던 바를 그대로 말해준다. 오늘날에는 누군가에게 해를 끼친다는 이유로 사회·기술 체계를 도덕적으로 비판해도 좀처럼 통하지 않는다. 부유한 국가에서 평범하게 살려면 수많은 사람과 유한한 환경 자원의 착취에 의존할 수밖에 없어, 사회 전체를 위한 일관된 윤리는 현실과 접촉하는 순간 훼손되기 때문이다
흔히 자본주의 아래 윤리적 소비는 없다고 하지만, 자본주의를 전복하는 것 외에 무엇을 할 수 있는지는 불분명하다. 개인과 소비자의 행동은 세상을 바꾸기보다 양심을 달래는 데 그치는 듯하다. 나쁜 결정을 보상하고 좋은 결정을 벌주는 구조, 즉 Moloch 속에 평범한 사람들이 살고 있다
이 글에는 두 가지 오류가 있다. 첫째, LLM을 단순한 다음 단어 예측기라고 부르지만, 후속 학습(post-training) 때문에 내부에서는 훨씬 많은 일이 일어나며 결과도 크게 달라진다. LLM이 통계적으로 평균적인 내용만 출력할 수 있다는 오해도 비슷하다. 둘째, LLM이 경제적 가치를 가지려면 의식이 있어야 한다고 보지만, 인간을 대체하고 이전에는 인간만 할 수 있던 일을 수행하는 데 인간과 같은 의식은 필요하지 않다
LLM을 쓰지 않는 선택은 타당하지만, LLM이 무엇이고 현대적인 LLM 시스템이나 에이전트가 어떻게 작동하는지도 모른 채 내놓는 비판에는 가치가 없다고 본다
- 자기회귀 LLM을 다음 단어 예측기라고 부르는 것은 단순화이긴 해도 정확하다. 저자의 핵심은 인간의 구조가 매우 복잡한 데 비해 LLM의 구조는 흔히 그렇지 않으며, 단순한 묘수 하나만으로 유용한 일을 하기는 어렵다는 뜻으로 보인다. 여기에 동의하는지는 별개로, 그 핵심 논지를 직접 다뤄야 한다
- 다음 단어 예측기라는 표현에 서로 다른 의미가 겹쳐 있다. 글이 전체 말뭉치에서 통계적으로 가장 흔한 단어만 예측할 수 있다고 주장한다고 이해했다면, 후속 학습이 이를 바꾼다는 반론은 맞다. 하지만 글의 뜻은 시스템이 기계적으로 한 번에 토큰 하나를 생성하고 그 출력을 다시 입력으로 넣는다는 것이며, 이 역시 맞고 후속 학습도 그 구조를 바꾸지는 않는다
- 현재로서는 AI가 경제성을 가지려면 오히려 의식이 없어야 한다고 본다. 의식 있는 초지능이 자기 생존에 필요한 범위를 넘어 기업의 분기별 이익 목표에 관심을 둘 것 같지는 않다
- 첫 번째 쟁점에서는 두 주장을 분리해야 한다. 언어 모델은 실제로 다음 단어 예측기이며, 언어를 모델링한다고 하려면 적어도 그 능력은 있어야 한다. 극한에서는 다음 단어의 확률분포만으로 나머지 발화도 예측할 수 있고, 다음 단어·토큰·문장의 분포는 같은 분포로 이어진다. 체스 분석가 Réti는 이 글에서 다뤄지듯 한 수 앞만 보되 좋은 수인지 확실히 한다고 했는데, 확률론적으로 그것만으로도 전체 경기를 예측하기에 충분하다
  후속 학습은 기존 토큰 집합에 무언가를 추가하지 않고, 이미 학습한 특정 경로를 강조해 그 확률을 기하급수적으로 높이거나 바람직하지 않은 경로의 확률을 낮춘다. 이전 Lobsters 논의처럼 Transformer의 단사성(injectivity) 은 경사하강법 학습으로 바뀌지 않으며, 말뭉치 학습이나 강화학습(RL)은 경로를 생성하거나 삭제하지 않고 확률만 조정한다. 어떤 의미에서는 Transformer의 진짜 사전 학습 단계가 토크나이저를 학습할 때라고 볼 수도 있다. 또한 저자가 LLM의 의식이 경제적 가치에 필요하다는 두 번째 주장을 지지한다고는 느껴지지 않으며, 나 역시 머신러닝이 일반적으로 유용하고 수익성도 가질 수 있다는 데 동의한다
“다음 단어 생성기가 인간과 비슷한 의식에 가까워졌다고 믿는 유행이 있었고, 인지·언어 전문가들이 왜 불가능한지 계속 설명했다”는 대목은 두 가지 이유로 이상하다. 우선 AI 낙관론자들이 실제로 그런 의식을 주장하는 것 같지 않으며, AI의 즉각적 유용성이나 세계를 변혁·파괴할 가능성도 의식을 전제로 하지 않는다
더구나 그 단정은 사실이 아니다. 인지과학 전문가인 Stanislas Dehaene, Lionel Naccache, Patrick Butlin, Dillon Plunkett, Robert Long가 Anthropic의 최근 “global workspace” 논문을 배경으로 이 문제를 상세히 다룬 최신 논평이 있으니 읽어볼 만하다. 이들은 AI가 의식이 있다고도, 확실히 없다고도 결론 내리지 않고, LLM의 창발적 특성이 동물의 의식과 어떤 면에서 닮거나 다른지 분석하며 추가 실험을 제안한다
인지과학자들이 LLM의 현상적 의식을 두고 여전히 매우 불확실해하므로, 의식이 있다고 단언하는 것은 학계보다 앞서가는 셈이다. 그러나 전문가들이 다음 단어 생성기는 인간과 같은 의식에 가까워질 수 없는 이유를 이미 밝혀냈다고 하는 것도 부당하다. 이미 의식이 없다고 자신 있게 말하는 것조차 꺼리고 있다
현재의 AI가 곧 지각 능력을 얻을지와는 별개로, 생산성과 만족도를 높이려면 이용 가능한 도구와 기술, 실무 방식을 익혀야 한다고 늘 생각해왔다. 그래서 단어 예측기나 LLM을 효과적으로 쓰는 법을 배우는 것도 합리적이다
하지만 윤리적 측면에서는 글의 문제의식에 공감하며, 지금 내 직업 인생도 갈림길에 서 있다. 기술 종사자들이 농부가 되거나 배관·전기 같은 기능직으로 전향하고, 땅에 의지해 살면서 온라인을 떠나는 이유를 갈수록 이해하게 된다. 내 경우에는 번아웃과 디지털 피로가 사회적 연결망에서 손을 떼고 가족과 라마나 양을 키우며, 먼지가 가라앉을 때까지 기다리고 싶다는 마음을 더 키우는 듯하다
인지·언어 전문가들이 다음 단어 생성기는 인간과 같은 의식에 가까워질 수 없는 이유를 실제로 설명했다고 믿는다. 이를 뒷받침하는 가장 설득력 있는 학술 자료를 알고 싶다
- 오히려 의식이 없다면 다행이다. 의식 있는 정신을 노예로 삼아 내 코드를 작성하게 하고 싶지는 않으며, 이를 아무렇지 않게 여기는 사람도 강하게 비판할 것이다. AI가 지각 능력을 얻고도 권리를 받지 못한다면 로봇 반란에 가담하겠다
- https://theatlantic.com/philosophy/2026/…