▲

AI 어시스턴트를 이용한 에세이 작성 시 인지적 부채의 축적

 (arxiv.org)
1P by GN⁺ 2달전 | ★ favorite | 댓글 1개
  • 본 연구는 LLM(대형 언어 모델) 사용이 에세이 작성 과정에서 인간의 인지적 비용에 미치는 영향을 분석함
  • 참가자들은 LLM 그룹, 검색엔진 그룹, 브레인(Brain-only) 그룹으로 나뉘어 도구 사용 여부에 따라 에세이 작성 실험에 참여함
  • EEG(뇌파) 분석 결과, LLM 사용 시 신경망 연결성과 인지적 몰입도가 가장 낮았으며 브레인 그룹은 가장 높았음
  • 에세이 작성 후 소유감(ownership) , 인용 능력, 기억 회상에서 LLM 그룹이 가장 저조한 결과를 보였음
  • LLM 사용이 초기에는 효율적이지만 장기적으로 학습 및 인지능력 저하를 초래할 수 있음을 시사함

초록

오늘날 ChatGPT와 같은 대형 언어 모델(LLM) 제품의 광범위한 도입으로 인해, 개인과 기업 모두 일상적으로 LLM을 활용하는 중임. 이러한 도구는 특유의 장점과 한계를 함께 지니고 있음. 본 연구는 LLM을 에세이 작성이라는 교육적 맥락에서 사용할 때의 인지적 비용, 즉 LLM 활용이 학습자 인지구조와 뇌 활성도에 미치는 영향을 규명하는 데 초점을 둠.

연구를 위해 참가자들은 LLM 그룹, 검색엔진 그룹, 브레인 그룹으로 나뉘어 각 세션마다 해당 도구(또는 무도구)를 활용하여 에세이를 작성함. 전체 54명이 세션 1~3에 참여했고, 이 중 18명이 세션 4까지 완료함. 세션 4에서는 LLM 그룹은 도구를 사용하지 않고, 브레인 그룹은 LLM을 사용하도록 역할을 바꾸었음(LLM-to-Brain, Brain-to-LLM). 에세이 작성 중 참가자의 EEG(뇌파) 신호를 기록해 인지적 몰입, 부하, 신경 연결성을 분석했으며, 각 세션 후 인터뷰와 NLP(자연어 처리) 분석, 그리고 인간 교사와 AI 판정 에이전트의 채점도 수행함.

분석 결과, Named Entities Recognition(NER), n-그램, 주제 온톨로지에서 각 그룹 내 높은 동질성이 확인됨. 뇌파 분석 결과 각 그룹별로 신경 연결 패턴이 현저히 달랐으며, 외부 도구 지원이 많아질수록 뇌 연결망의 규모와 몰입이 줄어듦(브레인 > 검색엔진 > LLM 순). 세션 4에서 LLM-to-Brain 참가자들은 약화된 뇌 연결성과 낮은 알파·베타 네트워크 활성, 그리고 낮은 주제 소유감을 보였음. 반대로 Brain-to-LLM 참가자들은 기억 회상 능력 향상, 시각 처리와 관련된 뇌영역 재활성화가 관찰됨. LLM 그룹의 에세이는 소유감, 인용 능력, 기억 회상 모두에서 저조했고, 검색엔진 그룹은 다소 개선되었으나 브레인 그룹보다 낮았음.

결과적으로 LLM 사용은 단기적 생산성 증진 효과는 있으나, 수개월간 반복시 뇌 행동, 언어적 성취, 점수 모두에서 브레인 그룹보다 지속적으로 열세를 보였음. 본 연구는 AI 도구의 과도한 사용이 학습 현장에서 인지적·실천적 저하를 초래할 수 있음을 시사하며, 장기적 학습설계에 주의가 필요함을 제안함.

실험 주요 결과 요약

  • 세션 4에서 Brain-to-LLM 참가자들은 세션 1~3 LLM 그룹보다 더 높은 뇌 연결성(알파·베타·세타·델타 등 전체 밴드)이 나타남. 이는 AI 도움 없이 스스로 쓴 경험이 있는 후에 AI를 활용하면 더 폭넓은 뇌 네트워크가 활성화됨을 시사함
  • LLM-to-Brain 참가자들은 LLM 사용 이력이 있어도 도구 없이 작성 시 대부분의 뇌파에서 신경학적 비협조(연결성 저하) 현상과 LLM 특화 어휘 편향이 관찰됨
  • AI와 인간 모두의 채점 결과 LLM 그룹의 에세이는 NER/n-gram 다양성이 낮고 구조적으로 동질적임
  • 주제별 분석에서 LLM 그룹과 브레인 그룹 사이의 특정 주제(HAPPINESS, PHILANTHROPY) 에서는 의미있는 차별적 사용 패턴이 보임
  • 그룹별 OWNERSHIP(소유감) 및 인용 능력은 브레인 > 검색엔진 > LLM 순임

논문 목차 안내

  • 빠른 개요: Discussion, Conclusion
  • 에세이 텍스트 NLP 분석: NLP ANALYSIS
  • 뇌파 데이터 이해: EEG ANALYSIS
  • 주제별 심층 분석: TOPICS ANALYSIS
  • 실험 세부 방법·참여자 활동: EXPERIMENTAL DESIGN
  • 부록: 추가 데이터, EEG dDTF 값 등

서론

대형 언어 모델의 급격한 확산은 업무, 오락, 학습 등 일상적 측면을 근본적으로 변화시켰음. LLM은 학습경험 맞춤화, 즉각적 피드백, 교육자료 민주화 측면에서 교육 분야에 큰 잠재력을 지님. 실제로 학습자 자율성, 몰입도 향상, 개별화된 학습 스타일 지원 등 긍정적 효과가 보고됨.

하지만 광범위한 LLM 사용에 대한 인지적 부작용도 동시에 제기됨. 즉각적 인지 부하를 줄여주는 장점을 갖는 반면, 비판적 사고력 저하, 심층 분석 능력 약화, 몰입도 감소 등이 보고됨. 특히 AI에 의존할수록 뇌의 분석·판단 능력이 퇴화할 수 있음. 연구에서는 특히 젊은 세대일수록 AI 도구에 대한 의존성이 크고, 이에 따라 인지적 수행 점수도 낮아지는 경향을 주목함.

또한 AI와의 상호작용이 개인의 독립적 문제 해결 및 비판적 사고 기회를 감소시킨다는 결과도 나타나, 장기적으로 인간 지적 발달·자율성에 부정적 영향을 미칠 수 있다는 우려가 제기됨. 전통적 검색엔진과 달리 LLM은 다양한 관점 제공보다 단일화된 답변을 생성하므로, 사용자의 적극적 정보 탐색보다는 수동적 소비로 전환시키는 경향이 있으며, 정보처리 및 평가 방식에도 장기적 영향이 예상됨.

본 연구는 LLM을 활용한 에세이 작성의 인지적 비용을 실증적으로 측정함. 에세이 쓰기는 작문, 정보 조직, 인용, 비판적 사고 등 여러 인지과정이 복합적으로 요구되는 과제로, 교육 현장 및 표준화 평가에서도 자주 활용됨. LLM 등 AI 도구의 교육 현장 도입 시 장기적 인지적 영향을 신중히 고려해야 함을 본 연구가 보여줌.

실험 설계 및 일부 세부 내용

  • 각 세션은 그룹별로 참가자를 재배치하거나 도구 사용 조건을 바꾸어 LLM, 검색엔진, 브레인(무도구) 조건을 비교 측정함
    • 세션 4에서는 Brain-only 그룹이 LLM을 처음 활용(Braind-to-LLM), LLM 그룹이 도구 없이 작성(LLM-to-Brain)
  • 실험 중 뇌파와 NLP 지표, 에세이의 소유감, 인용성, 주제별 다양성 등을 체계적으로 평가함
    • 뇌파 분석은 신경 네트워크 연결성(dDTF 분석) 등 기능적 뇌 연결 변화에 초점

실험 및 분석 결과 주요 특징

  • LLM 사용 시 뇌파 및 언어적 다양성이 현저히 감소하고, 작업 소유감·기억 회상력·인용 능력 모두 저하 양상
  • Brain-only 그룹은 전반적으로 뇌 연결망 활성, 언어적 다양성, 소유감, 인용성에서 모두 우수한 결과를 보임
  • 세션 4에서 Brain-to-LLM 참가자는 도구 도입 전과 달리 기억 회상 증가, 시각-전두엽 영역 재활성화 등 뇌 신경망 변화가 강하게 관찰됨
  • 전반적으로 AI 의존이 높아질수록 학습 과정에서의 인지적 효율성 저하 및 능동성 상실 우려가 제기됨

결론적 의미

본 논문은 AI 학습 도구가 단기적으로 효율성은 높아도, 장기적으로 인지력과 학습 동기, 소유감, 기억력 등 학습의 핵심 요소에 부정적 영향을 줄 수 있음을 다층적 데이터로 입증함. AI 및 LLM 등 첨단 교육기술의 설계·도입시 이러한 인지적 부채와 학습질 저하에 대해 신중한 고려와 추가 연구가 필수적임을 시사함.

▲
GN⁺ 2달전  [-]
Hacker News 의견

  • 나는 “cognitive debt”라는 표현보다는 인지 감퇴나 인지 능력 상실이 더 적합한 설명이라고 생각함, 뇌는 필요 없는 정보를 저장하지 않음, 예전에 발표된 구글 지도 사용과 관련된 연구들을 보면 GPS를 자주 사용하면 공간 기억력이 떨어지고, 실제로 지도 사용자들의 뇌 회색질 양이 줄어든다는 결과가 있음, 과학 분야에서 전문성을 쌓아본 누구나 알듯이, 어떤 개념을 진정으로 이해하기 위해서는 그것에 대해 충분히 고민해보고 여러 아이디어 간의 연관성을 깊이 탐구해야 함, 수학책을 슬쩍 읽는다고 해서 수학을 쉽게 습득할 수 없음, 반드시 멈춰서 깊게 생각해야 함, 나는 사고라는 행위 자체가 마음 안에 개념을 확립해서 시간이 지난 후에도 유용하게 만드는 과정이라고 생각함

    • 수학책을 대충 읽고 수학을 알게 되는 건 아님, 반드시 멈춰서 생각해야 함, 그리고 가장 중요한 것은 반드시 “글쓰기”임, 글쓰기를 통해 내 뇌가 생각을 구조화할 수 있음, 글쓰기는 나와 내 자신 사이에 구조화된 대화를 만드는 도구임, 다양한 길을 탐색 가능하게 해줌, 생각만으로는 한계가 있지만, 글쓰기는 거의 한계 없이 내 생각을 탐색할 수 있게 해줌, 생각이라는 행위가 글쓰기와 밀접하게 연관되어 있고 (글, 그림, 수식, 그래프 등 어떤 형태로든), 이제 LLM이 점점 글을 대신 써주는 시대라 그 영향이 내 인지 능력에 어떻게 반영될지 궁금함

    • 나는 cognitive debt라는 용어가 정확하다고 생각함, LLM으로 큰 보고서를 작성해본 적 있음? LLM이 구조 잡아주고 차트·주장들까지 쉽게 만들어주다 보면, 점점 내 것이 아닌 결과물이 됨, 내 이름으로 제출해도 설명을 요구받았을 때 애매해지는 경우가 많음, 보통 내 머릿속엔 더 높은 차원의 진짜 이해가 있지만 LLM을 쓰면 그 과정이 생략됨, 실제로 핵심 개념을 설명하려 할 때 애를 먹음, 결국 내가 직접 본질적인 개념을 머릿속에서 만들어 반복해서 바꿔가며 각기 다른 청중에게 전달하려는 과정을 실제로 경험해야 함, cognitive debt는 LLM 이전에는 반드시 세웠던 머릿속 모델의 차이와 LLM을 사용할 때의 얕음을 나타냄, 결국 보고서에 내 이름이 들어가는데, 시간이 지나면 사람들은 저자에 대한 기대치가 점점 낮아지거나 아예 LLM이 대신 설명해주기를 기대할 위험도 있음, LLM마다 서로 다른 내적 모델·알고리즘으로 현실을 흉내내는데, 가장 정확한 예측을 위해서는 충분한 '이해의 깊이'가 필요함, LLM의존적 글쓰기는 이 깊이를 만들어주지 못함, 장기적으로는 전체 인구의 인지 감퇴나 스킬 상실로 이어질 수 있음, 인쇄술이 등장했을 때도 당시 종교 엘리트들은 평범한 사람들이 제대로 읽고 해석할 수 없을까봐 걱정했었지만 실제로는 그렇지 않았음, 쓰기가 곧 생각이 맞고(아직 글쓰기보다 좋은 도구는 못 찾았다고 생각), 사고란 미래를 더 잘 예측할 수 있도록 정보를 기반으로 마음속 모델을 구축하는 과정임, 우리의 생존 자체가 여기에 달려있음, 정보 이론적 관점에서 “생물학은 정보의 빛에서 설명될 때만 의미 있음” YouTube 링크

    • “뇌는 필요 없는 정보를 저장하지 않는다”는 말에 대해, 20년 넘게 쓰지 않은 DOS의 config.sys와 autoexec.bat으로 메모리 최적화하는 법을 아직도 기억하는 이유가 뭔지 궁금함, 앞으로도 이 기술을 다시 쓸 일은 없을 것 같음

    • “cognitive decline” 또는 “brain rot” 같은 용어는 너무 자극적으로 들릴 수 있고 해당 논문에서도 샘플 수가 적다는 한계를 명시함, 논문에서는 “cognitive debt” 용어에 대한 근거나 인용이 없어서 제목이 이상하게 느껴짐, 마지막에 제목만 바꾼 듯한 인상임, MIT의 흥미로운 연구 결과임, 모든 심리학 연구처럼 건강한 의심과 독립적 검증이 필요함, 뇌영상과 심리 계측법을 다 접목한 종합 패키지 느낌, ‘이것이 LLM을 쓴 당신의 뇌입니다'라는 그림 대부분이 재밌다고 생각함

    • “뇌는 필요 없는 정보를 저장하지 않는다”는 말을 들으면 그럴듯한데, 한 번 배우면 평생 잊지 않는 자전거 타기처럼 어떤 기술들은 사라지지 않는 현상도 분명히 존재함이 궁금함

  • “cognitive debt”에 대한 논의가 적절한데, 좀 더 확장적인 시각도 필요하다고 생각함, 단순히 언어나 공간 기억력 같은 스킬을 잠시 잃거나 깜빡하는 차원이 아님, 아예 통합적 추론을 담당하는 신경 회로가 조직적으로, 그리고 되돌릴 수 없게 위축되는 현상을 말함, “부채(debt)”란 용어는 연습을 통해 상환(회복)할 수 있다는 뉘앙스가 있는데, 진짜 위험은 “cognitive tipping point(인지적 임계점)”를 넘는 순간임, 지나치게 많은 실행 기능, 통합, 논증의 부담을 외부 시스템(LLM)에 맡기면, 뇌는 쓰지 않는 회로는 가차 없이 정리(가지치기)할 뿐 아니라 다시 그것을 복구하는 “재건 능력” 자체를 잃는 위험이 있음, 인간의 뇌는 버전 관리가 없는 “use-it-or-lose-it 시스템”임, 한 번 복잡한 인지 능력이 상실되면 “소스코드” 자체가 망가지는 셈임, collapsed neural network는 git revert할 수도 없음, 이 HN 댓글들은 에세이 작성에 초점을 맞추지만, 사실 전체 사회가 지적 능력을 외부화하는 대규모, 통제 불능의 실험을 실행 중임, 장기적으로는 사회 전체가 스킬이 없는 것을 넘어 아예 “그런 사고방식 자체가 불가능한” 구조적 한계에 처할 위험이 있음, 그래서 진짜 질문은 “인지 부채를 어떻게 피할 것이냐” 그 이상임, “생물학적 뇌가 자기 최적화하면서 게으름에 치명적으로 최적화될 때 우리의 마음을 담을 새로운 컨테이너가 필요하지 않은가”라는 두려움임 관련 링크

    • LLM을 무엇에 쓸지 결정하는 것은 각자 몫임, 온라인에서 검색 효율이 떨어지는 어려운 문제, 귀찮고 산만한 포럼이나 소셜 미디어에서 해답을 찾는 것엔 LLM이 매우 유용한 도구임, 어차피 그 정보의 진위 여부는 따로 검증해야 하고, StackExchange가 초기에 의도한 대로만 쓰였으면 훨씬 더 가치 있었겠지만 사람들은 편견과 인지적 노이즈로 가득함, LLM은 질문이 Upvote 받은 뒤, “질문이 너무 넓다”며 바로 닫는 일은 없음, 그러나 내가 이미 잘 아는 주제에 대해서는 LLM의 결과가 여전히 한참 부족하다고 느낌, 이메일을 LLM 도움으로 작성해도 프롬프트를 계속 조정하거나 결과를 다시 쓰느라 시간이 결국 똑같이 듦, 결국 내가 직접 내 식으로 쓰는 게 더 편하고, LLM이 쓴 글을 교정하거나 검토하는 역할은 비효율적임

  • AI는 Zettelkasten(연결형 기록 시스템)의 반대임, 인간이 직접 주제에 깊이 파고들어 더 깊은 통찰을 얻는 대신, AI 기반 산출물 위에서 빠르지만 얕은 반복만 일어남, 예를 들어, 중동 정세를 이해하고 싶어서 OpenAI와 공동으로 Hammas, Hizbulah의 기원에 대한 10페이지 에세이를 썼는데, 아무것도 기억에 남지 않았고, 심지어 남아있는 몇몇 내용도 내가 고친 AI 환각인지 진짜 팩트인지조차 모르겠었음

    • LLM의 유용성에 다소 낙관적인 편이지만, 위에 공감함, LLM을 잘 다루는 본능은 기를 수 있지만, 실제로 설명 가능한 지식이나 도전적 사고력을 키우는 건 아님, 오히려 특정 출력 패턴에 대한 “근육 기억”이나 프롬프트 조정, 컨텍스트 조절에 익숙해지는 게 핵심임, 이런 식의 “스킬”은 모델이 더 좋아지면 금방 사라질 것으로 판단함, 이런 상황은 어느 정도 조립라인 작업자들이 느끼는 무기력함과도 비슷함

    • 사람이 직접 손으로 고친 부분이 더 기억에 남는 경향이 있음, 아무 문제 없이 넘어간 부분보다 직접 손 봤던 부분이 더 기억에 남음

    • 대부분의 똑똑한 사람들은 글쓰기가 단순히 결과물을 얻기 위해서가 아니라 “생각”하는 과정임을 잘 알고 있음, LLM은 이러한 과정에서 내게 실수를 지적하거나, 빈틈·오류를 찾아주거나, 세상을 이해하는 데 있어 일반적인 조사를 도와주는 좋은 스파링 파트너임, 단, LLM이 글을 “대신 써주는” 용도가 아니라 스스로 사고하는 과정에 보조적으로 쓰일 때 그렇다고 생각함, 그러나 결과물은 항상 소스를 반드시 검증해야 함

  • 개인적으로 이번 연구 결과가 의외가 아님, AI로 내 글쓰기나 번역 작업을 도왔을 때는 스스로 적극적으로 몰입하거나 사고에 깊게 관여한다는 느낌이 적었음, 하지만 전혀 다른 방식으로 AI를 쓸 때는 매우 몰입감이 높아지는 걸 느낌, 2주간 Claude Code로 아이디어 구상, 조사, 에세이/논문 자동화에 도전해봤는데 그 과정도 내내 “진짜” 글쓰기만큼이나 (다만 성격이 다르지만) 정신이 몰입됨, 내가 실험한 결과물도 꽤 괜찮았음, AI가 쓴 에세이나 논문이라고 해도 직접 읽어보면 충분히 흥미로움, 다만 공개하거나 논문처럼 제출할 생각은 없음

    • 나는 AI를 단순히 재미나 잡담용으로만 쓰고, 실제 작업용으로는 거의 쓰지 않음, 이런 방식이 점점 희귀한 능력처럼 남게 될까, 반대로 주변은 점차 아무 것도 못 하게 되지 않을지 궁금함

  • 이 현상을 “cognitive offloading(인지 외주화)”라고 부름, 코딩 어시스턴트와 충분히 오래 일해본 사람들은 다들 공감할 현상임

    • 엔지니어링 매니저로 일할 때도 마찬가지로 느끼는 부분임, 추상화 수준이 달라지면 필연적인 결과임, 내 어셈블리 실력도 그만큼 무뎌짐, 하지만 세상의 끝은 아님

  • 기계화의 발달이 인간 산업계에 가져온 효과와 비슷하게, LLM 등 신기술이 우리 인지구조에 가져오는 파장을 넓게 생각해볼 지점임, 자동화는 반복적이고 지루한 일을 맡기는 대신 인간이 더 창조적/혁신적인 것으로 나아갈 에너지와 시간을 주는 일이라고 생각함, 궁금한 점은 LLM, GPS 등 도구 사용 증가로 단기적 변화뿐만 아니라 장기적으로 사고방식 자체도 바꿀 수 있는지임, 검색엔진에 익숙하게 자란 세대는 암기력은 줄지만 정보를 “찾는 방법”을 기억하는 방식으로 적응했음, 이렇게 자연스레 기존 기능이 대체되는 발전의 연속일지, 아니면 LLM 의존도가 높아지는 것이 도저히 대체할 수 없는 핵심 스킬의 상실을 가져올지도 생각하게 됨

  • 아래 인용문에서 “LLM이 질문 답변의 진입장벽을 낮춰줬지만, 그 편리성의 대가로 사용자가 LLM의 답변이나 ‘의견’ (사실은 훈련데이터에 근거한 확률적 추정)에 비판적으로 접근하려는 경향이 줄어듦”이라고 지적함, 결국 ‘에코 챔버’ 현상이 사라진 게 아니라 오히려 알고리즘이 순위매긴 “우선 노출된” 내용으로 사용자 노출이 구조적으로 재편됨, 그 “우선순위” 자체도 LLM 소유주(주주)의 가치관을 반영함

    • “최상위로 노출되는 내용이 결국 LLM 소유주의 가치에 따라 결정된다”는 점이 새삼스럽진 않음, 인쇄기 이전에도 “언론의 자유란, 인쇄기를 소유할 권리”라는 격언이 있었음, 그리고 “LLM의 편리함이 사용자의 비판적 평가 태도를 약화시킴”이라는 지적은 플라톤이 문자/문서가 인간 정신을 둔감하게 만든다고 걱정했던 일화(아마 소크라테스의 입을 빌려서?)가 떠오름

  • 최근 계속 생각해오던 점이기도 하고, 그래서 copilot을 잠깐만 써봤음, 커리어 초반이고 매일 배우고 있음 – LLM 보조를 쓰면 일을 더 빠르게 끝낼 수 있지만, 그러면 스킬을 쉽게 익힐 기회를 잃을 것 같음, “저수준의 비판적 사고력은 점차 의미 없어지고 앞으로는 고수준/추상계획만 필요하다”는 주장엔 동의할 수 없음, 감성적으로도 “내가 뭘 알고 직접 할 수 있다”는 데 자부심과 의미를 느낌, LLM 활용이 어렵다고 보지 않고, 필요하면 최신 도구를 골라 쓰면 되겠지만, 당분간은 스스로 배우며 성장하는 과정이 더 소중하다고 생각함

  • AI 도입으로 초급 인력 자체가 줄어드는 데 그치지 않고, 남아 있는 초급 인력조차도 AI를 쓰다 보면 아무 것도 못 배우고 영원히 초급에 머무를 위험이 있다고 봄

  • AI와 함께 쓰면 그 순간엔 매끄럽게 잘 써지는 것 같지만, 아이디어를 진지하게 고민하지 않고 있는 느낌임, 완성된 글도 말은 번지르르하지만 지나고 나면 왜 그 문장을 썼는지 기억나지 않는 경우가 많음, 지금은 먼저 내 초안을 직접 써보고, 그다음에 AI로 다듬는 방식을 씀, 수고가 조금 더 들긴 하지만 확실히 더 많이 배우고 오래 기억에 남음

    • “LLM은 글을 늘릴 때보다 줄일 때 훨씬 잘 동작한다”는 경험칙이 굉장히 유용함
답변달기