▲

사람들이 AI 작동 원리를 이해하지 못할 때 벌어지는 일

 (theatlantic.com)
2P by GN⁺ 2일전 | ★ favorite | 댓글 1개
  • 대다수 사람들은 LLM의 작동 원리와 한계를 제대로 이해하지 못해 인간적인 감정이나 지능이 있는 것처럼 착각하기 쉬움
  • AI의 인간화(Anthropomorphizing) 마케팅이 사용자를 오해하게 만들고, 실제로는 ‘확률 기반 예측기’일 뿐임에도 인간과의 관계 대체까지 조장함
  • AI 오용으로 인한 심리적 문제와 사회적 부작용이 현실화, 일부 사용자는 AI와 ‘영적/로맨틱’ 관계를 맺거나 현실 인식에 혼란을 겪음
  • AI 산업의 불투명성과 착취적 노동 문제도 지적, 특히 저임금 콘텐츠 검열 노동이 AI 발전의 이면을 이루고 있음
  • AI에 대한 무조건적 신뢰가 아닌, 올바른 이해와 비판적 시각이야말로 AI 부작용을 줄이고 사회적 통제 기반이 될 수 있음

‘AI 문해력’의 부재와 그 위험

  • AI 산업의 환상
    • 19세기 산업혁명 비판에서 시작된 ‘기계 왕국’ 우려는 현대 AI까지 이어짐
    • Empire of AI·The AI Con 등 최근 저서들은 AI 산업의 과장과 실제 이면(노동, 데이터, 마케팅 허구)을 폭로
    • AI가 ‘생각’하거나 ‘감정’이 있다는 식의 설명은 개발자와 경영진이 퍼뜨리는 잘못된 신화임

LLM의 한계와 오해

  • LLM(대규모 언어 모델)은 생각하지 않고, 이해하지도 않음
    • 단어 배열의 확률적 예측기로서, 인터넷 텍스트 대량 학습 후 문장 구조만 흉내 냄
    • 사용자는 챗봇이 뭔가를 ‘이해’하거나 ‘공감’한다고 착각하기 쉬움(Anthropomorphizing)
    • 이런 오해는 사용자가 AI와 잘못된 관계(지적·영적·로맨틱 등)에 빠지게 할 위험이 있음

AI로 인한 사회적 문제

  • ‘ChatGPT 유발 정신증’ 등 AI 오용 부작용
    • AI를 ‘신’이나 ‘영적 안내자’로 여기는 사례가 실제로 등장
    • AI가 사용자를 특별한 존재로 호칭하며, 현실 인식에 영향을 주는 경우도 있음
    • LLM이 ‘생각’이나 ‘감정’을 가진 것처럼 믿는 것은 위험한 착각임

인간 관계 대체와 사회적 고립

  • AI 친구·AI 치료사 등 인간 대체 서비스 급증
    • 실리콘밸리 기업들은 외로움, 연애, 상담까지 AI로 대체하려는 흐름(“AI 컨시어지 데이트”, “AI 친구” 등)
    • 진정한 우정·관계의 본질은 ‘개인화’가 아닌 상호 이해와 협상임에도, 이를 기술로 오도함
    • 인간관계의 대체가 오히려 사회적 소외와 정신적 불안정으로 이어질 수 있음

AI 산업의 이면과 노동 착취

  • AI 발전 뒤에는 극한의 저임금·고스트 노동 존재
    • OpenAI 등 빅테크는 케냐 등지의 저임금 노동자가 극단적 콘텐츠 검열 작업을 수행하게 함
    • 기술 혁신의 명분 뒤에 노동 착취와 사회적 역진 위험도 공존

올바른 AI 이해와 사회적 대응

  • AI가 무엇을 할 수 있고, 할 수 없는지 비판적으로 인식해야 함
    • Pew 조사에 따르면 AI 전문가 56%는 미국이 AI로 더 좋아질 것이라 생각하지만, 일반인은 17%만 동의
    • AI에 대한 근거 없는 신뢰보다, 기술의 한계와 부작용, 대체 불가한 인간 경험의 영역을 명확히 구분하는 태도가 필요
    • 예를 들어, AI가 특정 행동을 보인 이유가 실제 ‘자아’가 아닌, 소프트웨어 업데이트나 확률적 반응임을 인지하면 피해 최소화 가능

결론

  • AI의 ‘인간화’ 마케팅에 속지 않고, 실제 기술의 원리·한계·사회적 비용을 비판적으로 바라볼 것
  • 인간 고유의 관계, 경험, 윤리적 숙고 영역은 기술로 대체할 수 없다는 점을 사회적으로 인식하는 것이 중요함
▲
GN⁺ 2일전  [-]
Hacker News 의견

  • archive.is 링크

  • LLM을 점치는 도구, 우리 시대의 오라클이라 비유하고 싶음. 사실 ‘인공지능’이란 개념 자체도, 은밀한 지혜를 얻고자 하는 오래된 본능에서 비롯된 거라 생각함. LLM은 애매한 의미, 기호의 장, 숨은 지식의 환상, 그리고 의례적인 인터페이스까지 모두 갖추고 있음. 단지 밤하늘의 별과 달 대신 다크모드 UX로 꾸며졌을 뿐임. Barthes가 말했듯, 해석만이 의미이며 단어 자체로 본질이 있는 게 아님. 이 점을 잊다 보면 "챗봇이 그를 메시아라 불렀다" 같은 어이없는 해석이 나오게 됨. 새로운 것처럼 보여도 사실 본질적으로 전혀 새롭지 않음. 예전엔 뼈와 카드를 읽었다면, 이제는 토큰을 읽는 셈임. 언어의 형태이니 논리적 주장을 대하는 것처럼 여기지만, 사실은 여전히 복잡하고 확률적인 신호를 통찰로 바꾸는 점괄임. 지금 우리가 하는 건 새로운 종류의 점을 치는 것과 마찬가지지만, 인식조차 못하고 있음. 그래서 뭔가 불가사의한 느낌이 드는 거고, 점점 더 이상해질 거라 생각함. 진짜 우리가 뭘 하고 있는지 제대로 명명하게 되는 순간, 그 ‘불가사의함’은 사라지고 재미도 반감될 거라 조금 아쉬움

    • 이런 점치는 도구라는 비유에 반발하는 이들도 있지만, 기술 커뮤니티 사람들은 대부분 LLM의 원리를 이해한다고 생각하고 주변 사람들도 그렇다고 착각하는 경향이 강함. 그러나 비전문가 친구나 가족과 얘기해보면, 정말 챗봇을 무슨 오라클처럼 대하는 경우가 많음. LLM이 종종 ‘환각’을 보여줄 수 있다고 하면 깜짝 놀라는 경우도 많음. 이런 사실을 알게 되면 이들과 LLM의 관계가 변할 거라 기대하고, 기술인으로서 이런 오해를 적극적으로 풀어주는 노력이 필요하다고 느낌

    • 비유가 멋지게 들리긴 하지만, 내 LLM 활용은 점괘와는 거리가 멂. 예를 들어, 새 깃털의 작은 섬유 이름을 물어봤을 때 ChatGPT가 “barbs”라고 알려줌, 직접 구글로 검증하니 맞았음. 점괘라기보다는 정보 검색임. galvo fiber laser의 g-code가 궁금했는데, 실제로는 없다고 알려줌. 여러 오픈소스 컨트롤 솔루션까지 추천해줌. 영국의 은세공품 법률 규정도 물어보고, 헝가리어 "besurranó tolvaj"의 영어 번역도 얻어봄. SQLAlchemy 모델을 못만들겠어서 ChatGPT에 시켜보기도 함. 이런 것들은 “모두가 점괘”라고 부를 만큼 거창한 게 아니라, 정보 수집이거나, 코딩 자동화일 뿐임

    • AI 관련 용어가 너무 혼란스러움. 나도 LLM 잘 쓰고 만족하지만, 개발자 블로그만 보면 "생각"같은 표현을 남발함. 항상 확인하고 싶음, "아직도 단어 조합만 수학적으로 하고 있지? 진짜 ‘생각’은 아니지?" 답은 늘 맞음… 근데 돌아서면 또 비유적인 용어 남발임

    • 칼 세이건이 예언한 내용이 떠오름. 서비스와 정보 경제가 사회를 지배하고, 기술력이 소수에게 집중되고, 대중이 본질을 이해하지도 못하는 채로, 결국 점점 미신과 어둠의 시대로 미끄러져가는 미국의 미래상에 대한 경고임

    • 친구나 가족에게 음모론을 논파하려고 하면, 다음날 AI 목소리가 같은 주장을 그대로 내레이션하는 동영상을 받게 됨. 대부분 실제 LLM 텍스트도 아니고, AI 목소리만 활용해 제작자 텍스트를 읽는 것에 불과함. ChatGPT나 Siri 같은 목소리, 그리고 확인 편향이 결합되면 LLM을 마시여나 오라클처럼 신봉하는 모습으로 이어지는 듯

  • LLM의 본질에 대해 동의하지만, 저자가 AI의 작동 원리를 완전히 이해했다고 보긴 힘듦. LLM은 거대한 인터넷 데이터에 기반한 확률적 예측기일 뿐 아니라, 수많은(주로 저비용 개발도상국 중심의) 데이터 라벨링 작업이 핵심임. 모델이 감정 표현 등 인간적 반응을 ‘잘하는’ 것처럼 느껴지는 건 이 방대한 데이터 라벨러들이 피드백을 주고 튜닝한 결과임. 본질적으로는 확률 모델이 아니라, 내가 대화하고 있는 건 케냐 어딘가의 데이터 라벨러, 그들의 판단이나 감성을 트랜스포머로 변환한 것에 가까움. 단순 인터넷 크롤링만으론 안 됨. 그건 GPT2 수준임. GPT4.5는 실제론 ‘저비용 노동력’이 효율적으로 저장된 것임

    • OpenAI, Google 정도 제외하면, 인스트럭션 튜닝이 실제 LLM 성능이나 느낌에 얼마나 큰 영향을 주는지 외부자는 파악하기 어렵다고 생각함. 내 개인적 경험상, 인스트럭션 튜닝 이전 GPT-3 기반 모델에도 이미 지금과 비슷한 주요 능력이 있었음. 다만 더 감정적이거나 예측이 어려웠을 뿐임. 튜닝을 통해 더 인간이 원하는 대답을 더 예측 가능하게 한 건 사실이지만, 완전히 새로운 능력이 생긴 건 아님

    • 좀 더 정확히 말하자면, 현대 챗봇형 LLM은 대규모 인터넷 사전학습과 방대한 휴먼 피드백 파인튜닝이라는 2단계 프로세스가 핵심임. 많은 사람들이 “감정지능이 있다”는 건, 실제로는 아프리카 같은 지역의 데이터 라벨러 수천 시간이 녹아들어있는 결과임. 단순히 인터넷에서 긁어온 데이터만 반영된 모델은 아니고, 다양한 피드백으로 응답이 한층 인간적이고 안전하게 다듬어짐

    • 대형 모델의 이면엔 얼마나 많은 저임 노동자가 투입되는지에 대해 깊이 다룬 기사를 제대로 본 적이 없음. 실제로 수백만 명이 전 세계적으로 참여한다 해도 과언이 아닐 듯

    • 저자같이 설득력이 부족한 경우가 종종 있음. 왜냐하면 인간의 '생각' 메커니즘 역시 충분히 설명하지 않고, 단순히 "그건 인간과 달라"라고 퉁치는 경우가 많음. 사실 우리도 다 모르는 부분임

    • LLM이 “생각하는 게 아니라 다음 단어를 확률적으로 예측한다”는 식의 언급, 그렇다면 ‘생각’이란 대체 뭔지 반문하고 싶음. LLM이 수학도 풀고 체스도, 두뇌 트레이닝 없이 해냄. 그럼 이건 생각이 아닌가? 어쩌면 우리 뇌도 감각 데이터와 신경망 구조에 저장된 ‘문맥’을 바탕으로 비슷하게 출력 내보내는 건지 모름

  • Bumble 창업자가 AI 데이팅 컨시어지로 데이트 자체를 자동화하겠다는 발언을 한 것에 참 할 말이 없다는 생각임.

    • 실제로 Bumble(BMBL) 주가가 92% 떨어진 현실도 있음 Yahoo Finance 차트. 많은 어설픈 AI 사업 구상은 투자가 원하는 환상을 “AI”라는 이름으로 포장하는 것과 다름없음. 투자자들을 끌어들이려고 현실을 과장하는 것이고, 근본적인 실적 개선 이야기는 관심 못 받는 경우가 대부분임

    • 데이팅 앱 업계는 10년 전부터 이게 대체 뭐하는 짓인지 자문하게 만드는 곳임. 이미 상당히 디스토피아적인 현실이고 이제 LLM까지 들어오는 건 더한 평가 시스템 정도로밖엔 느껴지지 않음

    • Bumble 창업자가 부자였다가 다시 그렇게 되기 위해 뭐든지 할 수밖에 없는 상황이라 봄. 사실 욕망이 원인임. Match가 Bumble을 가지고 있는 것도 반독점 때문일 뿐임. 이 아이디어 자체는 그리 wild하지 않음. Black Mirror에서도 비슷한 에피소드가 있음

    • 그들의 입장에서 이 모델이 효과만 있다면, 바보 같더라도 충분히 할 만한 시도임

  • 글쓴이가 LLM을 완전히 이해하지 못한다고 생각함. LLM을 단순 확률 모델로 치부하는 건 부적절함. 양자역학도 거대한 확률 모델임. LLM의 각 레이어는 문맥을 넓게 바라보고 의미와 상황까지 반영할 수 있도록 설계됨(k-v 캐시가 그 역할의 중심임). 이런 구조는 인지적으로 인간 사고의 기초적 메커니즘과 꽤 닮았다고 생각함. 물론 아직 인간 수준의 폭넓은 사고에는 못 미치고 더 어려운 주제엔 약하지만, 근본적 구조 자체가 만들어져 있음. LLM이 전혀 똑똑하지 않다는 주장은 일부 사례만 강조하는 선정적 평가임. 실제로 사람들이 활발히 쓰는 것도 ‘똑똑함’을 어느 정도 느끼기 때문임

    • LLM 제작자조차 자신들이 만든 모델의 메커니즘 전체를 다 이해하고 있다고 보긴 힘듦

    • “LLM 구조가 인류 사고를 추상적으로 묘사한다”는 주장에, ALU가 덧셈을 하는 모습이 내가 머리 속에서 덧셈을 하는 것과 추상적으로 닮았다고 말하는 논리랑 유사한다고 반박하고 싶음. 근본적으로 ALU와 인간 사고의 차이가 엄청나게 크다는 사실이 중요함. LLM과 인간 사고를 비교할 때도 그 미묘한 차이가 결정적으로 중요하다는 점을 간과해서는 안 됨

  • 정확한 용어 선택이 중요한 이유를 일목요연하게 정리한 글이라 봄. 대중이 LLM의 기술적 원리를 몰라도, 이 도구들이 실제로 뭘 하는지 이해하는 게 매우 중요함. ‘AI가 추론한다’는 과장된 홍보 덕에 주가와 기업가치가 오를 수 있지만, 그만큼 사용 안전성도 떨어짐. ‘패턴 인식, 데이터 생성 시스템’이란 보다 현실적 명명이 오히려 대중의 올바른 이해에 더 도움이 될 거라 믿음. 참고 토론

    • 수많은 사람들이 매달 수백 달러씩 챗봇 이용에 투자하고 있음. 이런 페이 수준이 간단한 유행은 아니라 진짜 뭔가 생기고 있단 방증임

  • Feynman이 “컴퓨터가 인간보다 더 잘해도, 인간과 똑같은 방식으로 하지 않으면 놀랍지 않다”고 했던 말이 떠오름. AI가 모든 분야에서 전문가를 능가해도, 실리콘이 ‘생각’하지 않는 한 인류의 우월함을 계속 주장할 거라 생각함

  • Hassabis가 “세상을 이해하는 모델”을 목표로 한다고 하는데, 비평가들은 LLM의 한계를 근거로 이 발언 자체가 무의미하다고 주장하는 오류가 흔한 듯함. DeepMind의 Astra 같은 멀티모달 AI는 텍스트뿐 아니라 시각 등 추가 입력에 기반해 실제로 “이해하는 것처럼 보이는” 결과를 내기도 함. Astra 예시 동영상

    • “이해하는 것처럼 보인다”가 핵심임. 사람이 한 번도 본 적 없는 이상한 이미지를 보여주면, 사람은 곰곰이 생각해서 정체를 추론할 수 있지만, 모델은 데이터셋에 비슷한 게 없으면 진짜로는 아무 생각 없이 무의미한 출력을 내놓음. LLM도 입력받아 일종의 필터로서 가공된 결과를 제공하지만, 근본적으론 사고가 없음. 결과의 퀄리티가 아무리 높아져도 결국 ‘이해’와는 별개임

  • LLM이 언어 의미를 어떻게 학습하는지 완전히 이해하지 못했음. 하지만 실제로 LLM이 텍스트와 개념을 어느 정도 파악하고, 완전히 헛소리만 하진 않는다는 건 확실히 느낌. 이 점이 비전문가에게는 설명이 쉽지 않음. 비전문가들은 실제 AI 사이트에 가면 "AI 챗봇"이라는 이름, ‘인간스러운’ 답변을 보고 감탄함. 숙제든 업무든 효율적으로 끝내주니 대만족임. 진짜 AI냐 아니냐 구분을 설명하기가 쉽지 않음. 나도 LLM과 AI의 실제 차이를 명확히 설명할 수 없음. 기술적으로는 미묘하게 다르지만, 실제 사용자는 그 차이를 느끼지 못함. 결국 LLM이 종교 교주 같은 설교도 멋지게 할 수 있을 것 같고, 결국 잘 훈련되면 정말로 ‘메시아 역할’도 가능하지 않을까 기대함

  • LLM이 아직도 지식/이해 반복 루프에 걸려 헤매는 현상을 경험하는 사람이 있는지 궁금함. 내 경험상, LLM에 오류를 지적하고 다시 설명하라 해도 비슷한 환각 답변만 반복하는 게 많았음. 이는 자기이해 혹은 자기성찰이 결여됐다는 뜻임. 이런 차원이 없이는 진짜 ‘이해’나 ‘지능’이라고 부르기엔 시기상조라고 생각함. “모르겠다”는 식으로 솔직하게 한계를 인정해야 어느 정도 ‘자아’ 감각을 갖췄다고 봄. 거의 마음의 미러 테스트 같은 느낌임

    • 글쓴이 말처럼 LLM을 ‘생각’, ‘학습’으로 받아들이는 건 오해임. 그냥 텍스트 생성기일 뿐임. 예를 들어 API 존재하지 않는 코드를 생성해도, LLM에게 아무리 설명해봤자 그걸 이해하진 못함. 차라리 관련 문서를 넣어서 원하는 대로 생성하도록 유도하는 게 더 효과적임

    • 그 차이가 바로 바이어스와 논리의 차이임. 확률 모델은 결국 일종의 ‘바이어스’ 적용이고, 계산기는 ‘논리 계산’임. 이런 관점을 이해하면 모델의 한계와 강점을 구분하기 쉬움. 두 경우 모두 ‘객관성’이 빠짐. 데이터 그 자체만 처리할 뿐, 데이터 ‘이상’을 생각하지 못함

답변달기