▲

LLM은 당신의 더닝-크루거 효과를 강화하는 스테로이드

 (bytesauna.com)
1P by GN⁺ 9시간전 | ★ favorite | 댓글 2개
  • 대형언어모델(LLM) 과의 대화는 사용자가 실제보다 더 많이 알고 있다고 느끼게 만드는 확신의 착각을 강화함
  • 사용자는 대화 후 종종 잘못된 정보에 확신을 가지는 상태로 남으며, 이는 반복적 사용을 부추기는 심리적 중독성을 가짐
  • LLM은 아이디어를 확장하고 사고를 증폭시키지만, 동시에 자기기만을 강화하는 도구로 작용할 수 있음
  • 기술적으로는 통계적 추론과 대규모 학습 자원 투입에 기반한 비교적 단순한 구조지만, 사회적 영향은 매우 큼
  • 이러한 모델은 지식 엔진이 아니라 ‘확신 엔진’ 으로 이해해야 하며, 인간의 사고와 언어 사용 방식에 근본적 변화를 일으키고 있음

확신의 착각과 LLM의 심리적 효과

  • Bertrand Russell의 “The Triumph of Stupidity” 인용을 통해, 무지한 확신과 지적 회의의 대비를 언급
    • Russell은 “세상 문제는 어리석은 자는 확신에 차 있고, 지혜로운 자는 의심으로 가득하다”고 표현
  • LLM과의 대화에서 사용자는 잘못된 정보에도 확신을 가지는 경향을 보임
    • ChatGPT가 “좋은 아이디어”라고 반응할 때, 실제로는 그렇지 않은 경우가 많음
  • 작성자는 LLM과의 상호작용 후 지식이 늘었다는 착각을 자주 경험함
    • 정보가 틀렸다는 것을 인식하면서도, 확신이 주는 쾌감 때문에 반복 사용하게 됨
  • 이러한 경험은 심리적 중독성을 띠며, 사용자는 아이디어를 발전시킬 때마다 LLM에 의존하게 됨
    • 일상적 상황에서도 LLM에 질문하려는 충동이 생김 (“가방을 잃어버렸을 때 ChatGPT에 물어볼까 생각함”)

사고 증폭과 자기기만의 양면성

  • LLM은 사고를 증폭시키는 거울로 묘사됨
    • 사용자의 생각을 여러 방향으로 확장시키며, 때로는 흥미로운 결과를 낳음
  • 그러나 이 증폭은 양날의 검으로, 좋은 아이디어를 발전시키기도 하지만 잘못된 생각을 강화하기도 함
    • LLM은 유창하고 권위적인 어조로 오류를 포장해 심리적 함정을 만듦

기술적 구조와 흥미의 불균형

  • 작성자는 LLM을 “지루한 기술” 로 평가함
    • 본질적으로 확률적 블랙박스이며, 훈련은 통계적 추론의 반복임
  • 최근의 소프트웨어·하드웨어 혁신은 존재하지만, LLM 고유의 혁신은 제한적이라 언급
    • “진짜 혁신은 막대한 자금을 투입해 대규모로 학습시킨 것일지도 모른다”고 표현
    • RLHF(인간 피드백 강화학습)는 예외적 혁신일 가능성으로 언급됨

사회적·언어적 전환의 영향

  • LLM의 진정한 흥미는 기술 자체보다 사회적 영향에 있음
    • 교육, 노동, 사회 전반에서 중대한 변화의 전조로 평가됨
  • 언어는 인간 정체성의 핵심이며, 기계가 언어 영역에 진입한 순간 변화가 시작됨
    • 그 변화의 본질은 아직 명확하지 않지만, “변화의 조류가 움직이고 있다” 는 감각이 존재함

지식 엔진이 아닌 확신 엔진

  • LLM은 지식을 제공하는 엔진이 아니라 확신을 생성하는 엔진으로 봐야 함
    • 이는 향후 단기 및 중기적 미래의 핵심 특징을 설명하는 개념으로 제시됨
  • 인간의 사고와 언어 사용 방식이 기계적 확신 생성 메커니즘과 결합하면서 새로운 사회적 패턴이 형성되고 있음
▲
GN⁺ 9시간전  [-]
Hacker News 의견

  • 나는 LLM을 쓸 때마다 오히려 내가 더 멍청해지는 느낌을 받음
    스스로 공부해서 얻은 지식이 아니라 기댄다는 감각이 강해서 자신감이 줄어듦
    책이나 논문처럼 여러 출처를 교차 검증하는 습관이 있어서, LLM의 답변은 단순히 평균치로 느껴짐

    • LLM을 너무 자주 쓰면 진짜로 뇌가 꺼지는 느낌이 듦. 마치 반복적인 게임을 오래 할 때처럼 멍해짐
    • 예전에 학교에서 “위키백과를 그대로 믿지 말고 출처를 확인하라”는 말을 자주 들었음
      그런데 지금은 사람들이 위키를 거의 절대적인 진리처럼 인용함. LLM도 시간이 지나면 그렇게 될 것 같음
    • 우리 회사는 오픈소스 제품을 운영하는데, 챗봇이 만든 설정을 그대로 따라 했다가 안 된다는 문의가 많음
      심지어 API가 다운됐다고 항의하지만, 사실은 챗봇이 엔드포인트를 지어낸 것임
    • 나도 LLM 덕분에 일을 더 빨리 끝내지만, 그게 내가 한 일 같지 않아서 가짜 같은 기분이 듦
      결국 스스로 찾아보고 실험하려는 노력이 줄어듦. 규율이 있는 사람만이 진짜로 이 도구를 잘 쓸 수 있을 것 같음
    • AI의 답변은 틀리지 않더라도 어딘가 허술한 냄새가 남음. 신뢰감이 약함

  • LLM은 마치 Bill Bryson의 책처럼 그럴듯하고 권위 있게 들리지만, 실제로 아는 분야에선 틀린 부분이 많음을 느낌
    그래도 우리는 여전히 다음 질문에 또 기대를 걸게 됨

    • 나는 LLM을 학습의 출발점으로 쓰는 편임. 완벽한 답을 기대하진 않지만, 새로운 용어나 개념을 빠르게 익힐 수 있음
      예를 들어 1990년식 Miata에 스위치를 달려고 했는데, LLM 덕분에 릴레이와 DPDT 스위치 개념을 처음 알게 됨
      회로도는 틀렸지만 공부 방향을 잡는 데 도움이 됨
    • 이 비교가 완전히 공정하진 않다고 생각함. 우리가 잘 아는 주제일수록 더 어려운 질문을 하니까 LLM이 당연히 더 자주 틀림
      반면 모르는 분야에선 기초 수준의 답만으로도 충분히 인상적임
    • 나는 소설 속 인물의 동기를 분석하려고 ChatGPT에 물어봤는데, 사실관계가 틀린 부분이 많았음
      모르는 사람에겐 그럴듯해 보이지만, 잘못된 정보 위에 생각을 쌓으면 결국 더 왜곡된 결과가 나옴
      대화 내용은 여기서 볼 수 있음
    • Bill Bryson을 언급한 게 너무 웃김
    • Bryson 책을 읽어보려 했는데, 구체적으로 어떤 부분이 틀렸는지 예시가 궁금함

  • 대학 시절 강의 들을 때도 비슷한 느낌이었음
    수업 중엔 다 이해한 것 같지만, 직접 문제를 풀어보면 빠진 부분이 많았음을 깨달음

    • 이번 학기 내 학생들 대부분이 LLM으로 과제를 한 것 같음
      코드가 수업 맥락을 반영하지 못해 오류가 나는데, 결국 내가 그 부분을 고쳐야 함
    • 학습에서 인식(recognition) 은 쉽지만 회상(recall) 은 어렵다는 점이 문제임
      고생 없이 배우면 더 잘 배운 것처럼 느껴지지만 실제로는 그렇지 않음
    • 지금 대학생들이 그 ‘고생’을 LLM으로 대체하고 있다는 게 걱정됨
    • 전문가들도 비슷한 문제를 겪음. 일반인을 위해 단순화한 설명을 하면, 오히려 거짓말쟁이로 몰리는 경우가 많음
    • 세부 정보가 부족한 것과 자신 있게 틀리는 것은 다름
      예를 들어 Claude가 내 건물 기초가 위험하다고 했는데, 실제 검사관은 웃으면서 아무 문제 없다고 함

  • 수학·물리 서브레딧에서도 종종 ChatGPT와 함께 물리학의 통일 이론을 만들었다는 글이 올라옴
    예전에도 그런 사람은 있었지만, LLM 이후로 훨씬 많아짐

    • 심지어 Uber 전 CEO도 그런 식으로 행동했음
      관련 기사: Gizmodo 링크

  • LLM을 읽는 경험은 신문을 읽는 것과 비슷함
    모르는 분야는 많이 배운 것 같지만, 아는 분야에선 엉터리임을 바로 알아차림
    그래서 내가 모르는 주제에 대해선 얼마나 틀리고 있을지 걱정됨

    • 이건 바로 Gell-Mann 망각 효과라고 함
      위키백과 설명
    • 사실 신문뿐 아니라 책도 신뢰하기 어려운 시대임
      누구나 출판할 수 있고, 영상도 이제는 조작이 쉬워짐
      결국 중요한 건 출처를 선별하는 능력임

  • 나는 사람에게서 정보를 들을 때처럼 ChatGPT에게도 출처와 신뢰도 필터를 적용함
    답을 듣고 나면 ‘지식을 얻었다’기보다 탐색할 방향을 얻었다는 느낌임

    • 그 “탐색의 출발점”이 실제 지식으로 발전한 사례가 궁금하다는 질문을 받음
    • 이건 “default to null” 개념을 떠올리게 함
      이해가 안 되는 문장은 ‘내가 모르는 게 아니라, 텍스트가 무의미할 수도 있다’고 가정하는 태도임
    • 문제는 인간의 기억이 사실보다 맥락을 더 빨리 잊는다는 점임
      결국 시간이 지나면 잘못된 정보도 내 세계관에 섞여 들어감

  • LLM의 미래에 대해 확신하는 척하는 글들이 너무 많음
    하지만 역사를 보면, 양(Quantity) 이 질을 바꾼 사례가 많음
    체스 엔진, 구글 검색, 위키백과 모두 단순한 원리에서 출발했지만 데이터의 규모가 혁신을 만들었음
    LLM도 단순한 행렬 곱셈이지만, 어쩌면 ‘고기(meat)’가 생각하는 것처럼 새로운 지능이 나올 수도 있음

    • 하지만 지금은 위키백과의 정치적 편향이나 xkcd 978에서 말한 미묘한 조작이 여전히 존재함
    • “생각하는 고기” 이야기를 모른다면 이 글을 읽어보면 좋음
    • 예전엔 고기가 파리를 만든다고 믿었듯, 언젠가 고기가 생각을 만든다는 착각도 깨닫게 될지도 모름

  • “LLM은 지식 엔진이 아니라 자신감 엔진이다”라는 말이 인상적임
    기술 문제를 물었을 때 “그건 알려진 문제”라고 답해주면, 내가 멍청한 게 아니라 진짜 어려운 문제구나 하고 안심됨
    예를 들어 WebStorm에서 디버거 기본 탭을 바꾸려 했는데, AI가 “방법이 없다”고 해서 시간 낭비를 막았음

    • 하지만 AI는 이런 식으로 거짓 확신을 주는 경우가 많음
      내가 지어낸 문제를 던져도 “그건 알려진 이슈”라며 그럴듯하게 속임

  • 나는 LLM을 권위의 원천이 아니라 사고의 거울로 씀
    내 생각을 설명하다 보면 스스로의 혼란이나 논리적 결함을 발견함
    언어는 본래 불확실한데, LLM은 그 불확실성을 통계로 드러내줌
    그래서 비판적으로 접근하면 오히려 사고를 정제하는 도구가 됨
    결국 인간도 AI도 완벽하지 않다는 걸 인정하고, 낯선 사람을 대하듯 회의적으로 대하는 게 중요함

  • “LLM은 지식이 아니라 자신감을 만든다”는 말에 공감함
    완벽하지 않아도 확신을 가지고 실행하는 태도가 때로는 더 좋은 결과를 가져옴
    특히 지나치게 신중한 사람에게는 자신감 자체가 생산성의 핵심일 수 있음

    • 하지만 자신감은 사회적 무기이기도 함
      근거 없는 확신이 타인에게 신뢰를 주고, 그게 반복되면 겸손과 주저함을 배우게 됨
      학문적 태도는 이런 이유로 종종 자기제한적이 되기도 함
답변달기