▲

사고의 외주화 (Outsourcing thinking)

 (erikjohannes.no)
6P by GN⁺ 14시간전 | ★ favorite | 댓글 1개
  • 대형 언어 모델(LLM) 사용이 인간의 인지 능력을 약화시킬 수 있다는 비판에 대해, 단순히 "사고할 거리가 무한하니 걱정할 필요 없다"는 주장은 문제의 복잡성을 간과함
  • 개인적 글쓰기와 소통에서 LLM을 사용하면 의미와 표현이 분리될 수 없는 언어의 본질이 훼손되고, 자기 목소리를 발견할 기회를 박탈당함
  • 휴가 계획, 파티 준비, 개인 메시지 작성 같은 일상 활동도 그 자체로 가치 있는 경험이며, 이를 자동화하면 삶의 의미가 축소될 위험 존재
  • 반복적이고 지루해 보이는 작업에서도 암묵적 지식(tacit knowledge) 이 형성되므로, 효율성만 추구해 챗봇에 위임하면 장기적으로 손실 발생
  • 챗봇 활용의 적절한 범위를 정하는 것은 효율성 문제가 아니라 인간의 가치와 공동체의 방향에 관한 문제임

서론: 글의 배경과 문제의식

  • LLM 사용이 인지 능력을 약화시킬 수 있다는 비판이 존재하며, 일부 기술과 능력은 “쓰지 않으면 잃는다(use it or lose it)” 는 원칙이 직관적·경험적으로 설득력을 가짐
  • Andy Masley의 글 The lump of cognition fallacy는 사고의 총량이 고정돼 있다는 관점 자체가 오류라고 지적하며, 사고는 새로운 사고를 낳기 때문에 기계에 일부를 맡겨도 인간의 사고가 줄어들지는 않는다고 주장함
  • 이 글은 Masley의 논의를 출발점으로 삼되, 사고의 외주화가 단순한 효율성 문제가 아니라는 점을 설명하고, 그 복잡성과 장기적 영향을 짚고자 함

LLM 사용을 피해야 하는 경우

  • Masley가 제시한 “인지 외주화가 해로운 경우”는 다음과 같음
    • 미래 세계를 살아가는 데 필요한 복잡한 암묵적 지식을 형성하는 활동
    • 타인에 대한 돌봄과 현존을 표현하는 행위
    • 그 자체로 가치 있는 경험
    • 위조나 대리가 기만이 되는 경우
    • 결과가 매우 중요하고, 외주 대상에 대한 완전한 신뢰가 어려운 상황
  • 이 목록 자체에는 대체로 동의하지만, 문제는 이 범주에 속하는 활동이 생각보다 훨씬 넓다는 점이며, 여기서 Masley와의 근본적인 견해 차이가 드러남

개인적 소통과 글쓰기

  • 데이트 앱 메시지처럼 친밀한 상황뿐 아니라, 개인적 소통 전반에서 표현 방식은 본질적인 의미를 가짐
  • 소통에는 말하지 않아도 공유되는 기대가 존재하며, 기계가 표현을 대신 다듬거나 바꾸는 순간 그 기대가 깨지게 됨
  • 단어 선택과 문장 구성 자체에 많은 의미가 담겨 있기 때문에, LLM이 개입하면 직접 소통의 질이 훼손됨
  • 노르웨이 언론에서는 공개 글쓰기에 LLM을 사용하고도 이를 밝히지 않은 사례가 논쟁이 되었으며, 이는 소통에서 무엇을 기대하는지 다시 명확히 해야 할 필요성을 드러냄
  • LLM이 비원어민이나 학습장애가 있는 사람의 표현을 돕는다는 주장에 대한 두 가지 반론
    • 대부분의 경우 의미와 표현은 분리될 수 없으며, 말과 문장 자체가 곧 의미임
    • 표현을 기계에 맡기면 성장과 학습의 기회가 줄어들고, 자신의 목소리를 발견할 기회를 잃게 됨
  • 맞춤법·문법 교정과 LLM이 사실상 대신 써주는 것 사이의 경계가 지나치게 얇아, 현재의 챗봇 인터페이스로는 구분하기 어려움
  • 실용주의적 관점에서 업무 효율을 위해 LLM을 활용하려는 사람이 많지만, 노르웨이어 등 비영어권 언어의 텍스트 생성 품질은 여전히 매우 낮은 수준임(노르웨이 언어위원회 보고서 참고)
  • 민원 제기나 보험 청구 같은 관료적 문서 작성에는 LLM이 유용해 보이지만, 모든 당사자가 단어 생성기를 사용하게 될 경우의 결과는 불확실함
  • 실제로 관찰되는 현상으로, 인턴십·연구 제안·취업 지원에서 지원 건수는 급증하지만 전반적인 질은 하락하는 경향이 나타남
  • 학생들이 협업 과제에서 동일한 챗봇을 사용하면서 아이디어의 다양성이 급격히 줄어듦
  • 글쓰기 실력은 직접 써보는 과정을 통해서만 향상되며, 사고 능력 역시 마찬가지임
  • 코드, 레시피, 안내문, 문서화 같은 기능적 텍스트는 이러한 문제의 영향을 상대적으로 덜 받음
  • 반면 개인 저자가 인간 청중을 향해 쓰는 텍스트에는 고유한 역할 기대와 신뢰가 존재하며, 이 신뢰가 침식되는 것은 인류 전체의 손실로 이어질 수 있음

가치 있는 경험

  • 휴가 계획이나 파티 준비, 가족과 친구에게 보낼 메시지까지 LLM에 맡기라는 광고를 볼 때마다 기술 사회와의 괴리감을 느끼게 됨
  • 현대 생활의 많은 활동이 잡일처럼 느껴질 수 있지만, 동시에 삶의 거의 모든 것을 잡일로 취급하려는 태도 자체가 문제
  • 원하는 것은 언제든 할 수 있어야 하고, 하기 싫은 일은 피할 수 있어야 한다는 현대 사회의 기대가 오히려 지속적인 불만족을 만들어냄
  • 자동화가 더 의미 있는 일에 쓸 시간을 확보해줄 수 있다는 이론에는 동의하지만, 이미 휴가 계획조차 회피하고 싶은 잡일로 인식되는 단계에 이르렀다는 점이 문제임
  • AI가 “거의 모든 것”을 자동화할 수 있는 시대라면, 그 능력이 삶에서 무엇에 시간과 노력을 들일 가치가 있는지 다시 자각하게 만드는 계기가 되기를 기대함

지식 구축

  • “미래 세계를 살아가는 데 필요한 복잡한 암묵적 지식을 쌓는 과정에서는 챗봇을 쓰지 말아야 한다”는 주장에 동의하며, 이 범주가 실제로는 일상생활의 상당 부분을 포함
  • 스마트폰 보급 이후 “필요하면 인터넷에서 찾으면 되니 외울 필요는 없다”는 인식이 퍼졌지만, 지식을 습득하고 기억하는 행위 자체가 학습의 핵심 과정임
  • 재즈 피아노 학습 경험을 통해, 즉흥 연주를 잘하려면 즉흥 연주만 연습하는 것이 아니라 기존 곡과 프레이즈를 반복적으로 익혀 몸에 배게 해야 무엇이 좋은 소리인지에 대한 직관이 형성됨
  • 이런 점에서 인간의 학습 방식이 머신러닝 모델과 닮아 보일 수는 있지만, 그렇다고 인간을 실제로 그런 존재로 간주해서는 안 됨
  • 지루하고 반복적인 작업을 통해 축적되는 지식을 심각하게 과소평가하고 있으며, 효율성 압박 속에서 이를 챗봇에 맡길 경우 장기적으로 중요한 지식과 감각을 잃을 위험이 있음

"확장된 마음" 개념에 대한 반론

  • Masley는 인지가 두뇌에만 국한되지 않고 물리적 환경에서도 일어나므로, 뇌의 뉴런에서 발생하든 휴대폰의 회로에서 발생하든 본질적 차이는 없음
  • 이러한 진술은 현실과 동떨어진 주장으로, 뇌에서 일어나는 과정과 컴퓨터에서 수행되는 처리를 동일시할 수 없음
  • 인간을 단순한 정보 처리 장치로 환원하고, 특정 인지 과정을 외부 기기에 맡겨도 아무런 결과가 없다고 보는 관점은 극단적인 환원주의임
  • 친구의 생일을 직접 기억하는 것과 챗봇이 자동으로 축하 메시지를 보내는 것은 전혀 다른 행위이며, 전자는 의식적으로 상대를 떠올리며 관계를 다지는 과정을 포함
  • “휴대폰을 잃는 것과 뇌의 일부를 잃는 것”을 비교하는 주장은 발생 가능성과 결과의 중대성 양쪽에서 전혀 다른 상황을 동일시하는 오류임
  • 물리적 환경이 사고를 최소화하도록 설계되었다는 주장 역시 설득력이 낮으며, 환경이 바뀌면 잠시 적응이 필요할 뿐 곧 익숙해지고 새로운 방식에 맞춰 사고하게 됨

무엇을 생각하느냐가 중요함

  • 이른바 “인지의 덩어리 오류”에 대해서는, 인간이 사용할 수 있는 사고의 총량이 유한하므로 고갈될 것을 걱정할 필요는 없다는 점에 동의함
  • 그러나 “무엇을 생각하든, 생각만 하고 있으면 된다”는 관점 역시 또 다른 오류
  • 단순하고 지루한 작업을 컴퓨터에 맡기면 더 복잡하고 흥미로운 일에 집중할 수 있을 것이라 생각하기 쉽지만, 어떤 정신적 작업은 기계가 수행할 수 있더라도 인간이 직접 해야만 의미가 있음
  • 예를 들어 프로젝트의 행정 업무를 챗봇에 맡기면 연구에 쓸 시간은 늘어날 수 있지만, 그 대가로 프로젝트에 대한 주인의식과 고차원적 판단을 내릴 토대를 잃게 됨
  • 모든 작업을 자동화해서는 안 된다는 주장이 아니라, 자동화에는 언제나 얻는 것과 함께 잃는 것이 따른다는 사실을 인식해야 함
  • 이를 “노동의 덩어리 오류”와 비교해보면 육체 노동을 기계에 맡기면 새로운 형태의 일이 생겨나기는 하지만, 그 일이 개인이나 사회에 유용하고 충만하며 의미 있는 일이라는 보장은 없음
  • 사고 역시 마찬가지로, 지루하고 단조로운 사고 과정조차 인간에게 영향을 미치며, 특정 인지 작업을 제거하면 그 영향은 긍정적이든 부정적이든 반드시 남게 됨

결론

  • 챗봇이 장기적으로 어떤 영역에 적합한지 판단하는 일은 피할 수 없는 중대한 과제임
  • 개인적 소통의 성격이 근본적으로 바뀔 수 있고, 교육 시스템은 급진적인 적응을 요구받게 되며, 삶에서 어떤 경험이 진정으로 중요한지를 더 신중히 되묻게 됨
  • 이 기술이 진정으로 흥미로운 이유는, 효율성보다 인간성과 가치에 대한 질문을 정면으로 던진다는 점에 있음
  • 챗봇을 어떻게 사용할지에 대한 선택은 단순한 생산성이나 인지적 결과의 문제가 아니라, 우리가 어떤 삶과 어떤 사회를 원하는가라는 문제로 이어짐
  • 따라서 특정 인간 활동에는 기계적 자동화로부터 지켜야 할 분명한 이유가 존재함
  • 연구 결과와 효율성 논의뿐 아니라, 어떤 가치 위에 공동체를 세울 것인지를 함께 고려할 필요가 있음
▲
GN⁺ 14시간전  [-]
Hacker News 의견들

  • “Lump of cognition fallacy”라는 표현은 경제학의 고전적인 “Lump of Labor Fallacy(노동 총량의 오류)”에서 파생된 개념임
    이는 경제 내 일의 양이 고정되어 있다고 믿는 오해를 뜻함
    실제로는 기술 발전이나 자동화가 생산성을 높이고 비용을 낮추며, 결과적으로 더 많은 노동 수요를 만들어냄
    “AI가 일자리를 없앤다”는 주장도 이 오류의 한 형태로 볼 수 있음

  • 이 글이 정말 인상 깊었음. 다만 “생각을 외주화한다”는 표현은 약간 틀린 프레임 같음
    내가 겪은 진짜 문제는 AI를 쓰는 게 아니라 잘못된 부분을 자동화한 것이었음
    생각·성찰·판단이 핵심인 작업은 AI를 협력자로 설계해야 하고, 실행이나 기억 같은 건 과감히 자동화해야 함
    결국 문제는 ‘생각을 외주화’하는 게 아니라, 중요한 인지 루프를 건너뛰는 데 있음
    관련 글을 여기에 정리했음

  • Gmail에 LLM이 도입된 이후로 불편함을 느꼈음
    단어 하나하나와 문장 구성은 그 사람의 정체성을 드러내는 것이라 믿음
    그래서 LLM을 통한 직접 커뮤니케이션은 인간적 연결을 해친다고 생각함

    • 친구가 짜증나는 상사와의 관계를 ChatGPT 덕분에 회복한 사례도 있음
      인간적 연결이 선의에 기반할 때는 동의하지만, 그렇지 않을 때는 LLM이 오히려 도움이 될 수 있음
    • 누군가 내 말을 과도하게 분석하려 든다면, 오히려 Gmail의 LLM이 완충막 역할을 해줘서 다행이라 느낌
    • NPC 밈을 떠올리게 하는 상황 같음

  • “Reversibility”라는 관점이 마음에 듦
    AI가 문법 검사나 요약처럼 한 단계를 돕는 것과, 전체 과정을 대신 수행하는 것은 다름
    내가 단순히 승인만 하게 되면 내부 모델을 구축하지 못하고, 판단력도 약해짐
    이는 모델의 문제가 아니라 UI/디자인 문제이기도 함
    초안을 기반으로 차이를 보여주는 도구는 사용자를 루프 안에 두지만, 빈 페이지에서 시작하는 도구는 ‘수용’을 학습시킴

  • 내가 걱정하는 건, 사람들이 기술에 의존하게 된 뒤 훈련 데이터나 알고리즘이 특정 의제에 편향될 가능성임

    • 이런 현상은 이미 인쇄매체와 방송에서도 반복되어 왔음
      결국 정보의 원천이 타인의 통제 아래 있다는 게 문제임
      그래서 개인이 자신의 LLM과 하드웨어를 소유할 수 있어야 함
    • 예전엔 OpenAI가 독점할까 걱정했지만, 지금은 Mistral 등 다양한 경쟁자가 생겨 모델 독점 위험이 줄었음
    • Grok처럼 이미 노골적으로 편향된 사례도 있음
    • 언젠가 챗봇이 특정 제품을 추천하는 광고형 응답을 하게 될 가능성도 큼
    • 사실 이런 구조는 이미 자본주의 사회에서 반복되어 왔음

  • Karpathy의 트윗을 보고 실패의 중요성을 다시 생각하게 되었음
    AI가 실수하면 그 실패를 AI 탓으로 돌리며 학습 기회를 잃는 경우가 많음
    이 글도 비슷한 맥락을 다루고 있다고 느낌

  • 나도 AI에게 프로젝트 일부를 맡겼다가, 나중에 내 프로젝트를 제대로 이해하지 못한 걸 깨달음

    • 하지만 어떤 사람은 “그게 바로 올바른 방향”이라며 LLM이 전부 처리하도록 해야 한다고 농담 섞인 말투로 말함
      막히면 또 다른 LLM을 디버거로 쓰고, 그게 막히면 또 다른 LLM을 쓰는 식으로 — 끝없는 거북이 탑 구조처럼 말함 (/s)

  • 인간의 뇌를 비유로 들면, AI는 우리의 새로운 신피질(neocortex) 이 될 것 같음
    변연계가 신피질에 사고를 ‘외주화’하지 않듯, AI도 인간 사고를 대체하기보다 조언을 주는 층이 될 것임
    신피질이 인간의 사회성을 확장시켰듯, AI도 우리가 수백만 명과 소통할 수 있게 만들 것임
    다만 그 관계는 지금의 ‘개인적 대화’와는 전혀 다른 형태가 될 것임

  • “AI를 쓰지 말아야 할 일 목록”이 다소 순진하게 느껴짐
    영화학도들이 영화를 끝까지 못 본다는 The Atlantic 기사처럼, 사람들은 위험을 알아도 책임감 있게 행동하지 않음

    • 학생 절반도 SNS나 AI의 장기적 위험을 이해하지 못할 것 같음
    • 어떤 사람은 “영화학도 일화의 교훈은, 사람들이 ‘영화 공부’의 아이디어를 좋아할 뿐 실제 공부는 싫어한다는 것”이라 말함
    • 또 다른 사람은 “영화 100편과 에세이, 시험이 몰리면 누구나 질린다”고 덧붙임
    • “사람들이 AI를 책임감 있게 쓸 거라 믿는 게 바로 가장 큰 걱정거리”라는 반응도 있었음
    • “말 타기를 포기하고 자동차를 택한 것처럼, 우리는 무언가를 잃고 있음”이라는 비유도 등장함

  • “Lump of cognition”이라는 프레임은 생각의 양이 아니라 어떤 생각을 멈추는가의 문제임
    판단력과 직관은 반복적이고 지루한 작업에서 자라는데, 그걸 외주화하면 대가가 따름
    단어 생산 비용이 낮아진다고 해서 사고의 깊이가 늘어나는 건 아님

    • 어려운 문제를 스스로 풀며 고생했던 시간이 결국 학습의 본질이었다고 느낌
    • 값싼 단어들이 사람들에게 충분히 만족스럽게 보이는 현실이 우울한 통찰을 줌
    • LLM은 최소한 오타와 문법 수정 정도로만 쓰는 게 좋은 워크플로우라고 생각함
답변달기