AI 어시스턴트로 에세이를 쓸 때 쌓이는 인지적 부채

 (arxiv.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 에세이 작성 교육에서 LLM 사용의 인지 비용을 측정한 사전공개 논문으로, 학습·업무에 널리 쓰이는 AI 도구가 학습 역량을 약화시킬 수 있는지를 실험함
  • 참가자는 LLM, Search Engine, Brain-only 그룹으로 나뉘어 3회 에세이를 작성했고, 4회차에는 LLM 그룹 일부가 도구 없이, Brain-only 그룹 일부가 LLM을 사용함
  • 1~3회차에는 54명, 4회차에는 그중 18명이 참여했으며 EEG, NLP 분석, 세션별 인터뷰, 인간 교사와 별도 제작한 AI judge 채점을 함께 사용함
  • 외부 지원이 많을수록 뇌 연결성이 낮아졌고, Brain-only 그룹은 가장 강한 네트워크를, Search Engine 그룹은 중간 수준을, LLM 지원은 가장 약한 전반적 결합을 보임
  • 4개월간 4개 세션에서 LLM 그룹은 신경·언어·채점 수준 모두 Brain-only 그룹보다 낮은 성과를 보였고, 소유감과 직후 인용 능력도 낮았음

에세이 작성에서 측정한 LLM의 인지 비용

  • 교육 환경에서 에세이를 작성할 때 LLM 사용이 인지 과정에 남기는 비용을 확인하는 데 초점을 둠
  • LLM은 개인화된 학습 경험, 즉각적 피드백, 교육 자원 접근성 확대를 가능하게 하지만, 널리 사용될수록 비판적 사고와 깊은 분석 과정의 참여가 줄어들 수 있음
  • 에세이 쓰기는 학교와 표준화 시험에서 학생 능력을 평가하는 흔한 과제이며, 여러 인지 과정을 동시에 요구하는 복잡한 작업으로 선택됨
  • 해당 논문은 preprint, under review 상태임

참가자와 세션 설계

  • 참가자는 세 그룹으로 나뉨
    • LLM 그룹: 지정된 LLM 도구로 에세이를 작성
    • Search Engine 그룹: 검색 엔진을 사용해 에세이를 작성
    • Brain-only 그룹: 외부 도구 없이 에세이를 작성
  • 1~3회차에서는 각 참가자가 같은 그룹 배정 조건을 유지함
  • 4회차에서는 일부 참가자의 조건을 바꿈
    • LLM-to-Brain: 이전에 LLM을 사용하던 참가자가 도구 없이 작성
    • Brain-to-LLM: 이전에 도구 없이 작성하던 참가자가 LLM을 사용
  • 1~3회차에는 총 54명이 참여했고, 4회차는 그중 18명이 완료함
  • 각 세션에서는 SAT 주제 중 하나를 골라 에세이를 작성했으며, 1~3회차에는 세션당 3개 주제, 총 9개 주제 선택지가 제공됨

측정 방법

  • 뇌 활동 측정에는 EEG가 사용됨
    • 인지 참여와 인지 부하를 평가하기 위해 참가자의 뇌 활동을 기록함
    • 에세이 작성 중 신경 활성화를 더 깊게 이해하려는 목적도 포함됨
  • 에세이 텍스트에는 NLP 분석이 적용됨
    • Named Entities Recognition(NER)
    • n-gram
    • 주제 온톨로지
    • 임베딩 기반 유사성과 거리
  • 각 세션 뒤에는 참가자 인터뷰가 진행됨
    • 에세이 구조 준수
    • 에세이에서 인용할 수 있는 능력
    • 인용 정확성
    • 에세이에 대한 소유감
    • 만족도 등을 확인함
  • 채점에는 인간 교사와 별도로 만든 AI judge가 함께 사용됨

EEG 결과: 외부 지원이 많을수록 낮아진 뇌 연결성

  • 세 그룹은 서로 다른 신경 연결 패턴을 보였고, 이는 서로 다른 인지 전략을 반영함
  • 뇌 연결성은 외부 지원의 양에 따라 체계적으로 낮아짐
    • Brain-only 그룹: 가장 강하고 넓은 네트워크를 보임
    • Search Engine 그룹: 중간 수준의 참여를 보임
    • LLM 지원: 전반적 결합이 가장 약함
  • 4회차에서 LLM-to-Brain 참가자는 더 약한 신경 연결성과 alpha·beta 네트워크의 낮은 참여를 보임
  • 반대로 Brain-to-LLM 참가자는 더 높은 기억 회상과 광범위한 occipito-parietal 및 prefrontal 노드의 재참여를 보임
    • 이 패턴은 시각 처리와 관련될 가능성이 있으며, Search Engine 그룹에서 자주 관찰된 양상과 유사함

언어 분석에서 드러난 에세이 특성

  • 그룹 내부에서는 NER, n-gram, 주제 온톨로지에서 일관된 동질성이 발견됨
  • LLM 그룹의 에세이는 같은 그룹 안에서 더 균질한 언어적 특징을 보임
  • Search Engine 그룹은 일부 주제에서 검색 최적화의 영향으로 보이는 n-gram 사용이 나타남
    • 예: PHILANTHROPY 주제에서 homeless n-gram에 초점이 나타남
  • Brain-only 그룹의 에세이 사이 거리는 LLM 또는 Search Engine 그룹보다 항상 유의미하고 크게 나타남
  • 일부 주제에서는 LLM 그룹과 Brain-only 그룹 사이에 거의 직교하는 수준의 차이가 나타남
    • 예: HAPPINESS, PHILANTHROPY 주제

소유감, 기억, 인용 능력

  • LLM 그룹은 인터뷰에서 자기 에세이에 대한 소유감이 낮았음
  • Search Engine 그룹도 높은 소유감을 보였지만, Brain-only 그룹보다는 낮았음
  • 몇 분 전에 작성한 자신의 에세이에서 내용을 인용하는 능력도 LLM 그룹에서 낮게 나타남
  • Brain-only 그룹은 높은 소유감과 높은 인용 능력을 보임
  • 4회차의 Brain-to-LLM 참가자는 LLM을 활용했지만, 이전 Brain-only 세션의 영향과 결합된 형태로 더 나은 콘텐츠 통합을 보였고 소유감은 나뉘어 나타남

4회차 전환 실험의 차이

  • Brain-to-LLM 참가자는 이전에 AI 없이 작성한 뒤 AI 도구로 다시 쓰는 조건에서 더 높은 신경 연결성을 보임
    • alpha, beta, theta, delta 대역의 directed connectivity가 네트워크 전반에서 증가함
    • 이전 LLM-only 1~3회차보다 더 광범위한 뇌 네트워크 상호작용이 나타남
  • LLM-to-Brain 참가자는 이전 LLM 사용 경험 뒤 도구 없이 작성할 때 대부분의 대역에서 덜 조정된 신경 노력을 보임
    • LLM 특유 어휘의 편향도 나타남
    • AI judge와 인간 교사 모두 높은 점수를 주었지만, NER·n-gram 사용 거리에서는 다른 그룹·세션보다 덜 두드러짐
  • Brain-only 그룹이 4회차에 LLM을 사용한 경우, 4회차 뇌 연결성은 초보자 수준의 Brain-only 1회차 패턴으로 되돌아가지 않았고 Brain-only 3회차 수준에도 도달하지 않음
    • 네트워크 참여의 중간 상태를 보임

결론과 제약

  • LLM 사용은 참가자에게 측정 가능한 영향을 미쳤고, 초기 이점은 분명해 보였지만 4개월 동안의 세션에서는 LLM 그룹이 여러 수준에서 Brain-only 그룹보다 낮은 성과를 보임
  • 낮은 성과는 신경 연결성, 언어적 특징, 채점 결과에서 함께 관찰됨
  • 일반 대중의 LLM 교육 영향이 이제 막 자리 잡기 시작한 시점에서, 학습 역량 저하 가능성이 중요한 쟁점으로 남아 있음
  • 이 논문은 AI가 학습 환경에 미치는 인지적·실용적 영향을 이해하기 위한 예비 가이드 역할을 목표로 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • “인지 부채의 축적”이라고 부르기보다는 그냥 인지 저하나 인지 능력 상실이라고 부르겠음
    언어를 안 쓰면 잊어버리는 건 당연하고, 뇌는 필요 없는 정보를 붙잡아두지 않음. Google Maps 내비게이션 사용 연구에서도 “GPS의 습관적 사용이 자율 내비게이션 중 공간 기억에 부정적 영향을 준다”거나 지도 사용자에게서 회백질 감소가 관찰됐다는 결과가 있었음
    과학 분야에서 전문성을 쌓아본 사람이라면 무언가를 이해하려면 곱씹고, 각 아이디어가 다른 것과 어떻게 연결되는지 탐색해야 한다는 걸 안다. 수학 교과서를 훑는 것만으로 수학을 알 수는 없고, 멈춰서 생각해야 함. 나중에 사고에 쓸 수 있는 정신적 대상은 바로 생각하는 행위가 만들어준다고 봄

    • “수학 교과서를 훑는 것만으로 수학을 알 수는 없고, 멈춰서 생각해야 한다”에서 가장 중요한 건 쓰기임
      많이 써야 함. 글쓰기는 뇌가 생각을 구조화하게 해주고, 자기 자신과 구조화된 대화를 가능하게 하며, 여러 경로를 탐색하게 해줌. 생각과 숙고만으로는 곧 한계에 닿지만, 글쓰기는 생각을 거의 끝없이 탐색하게 해준다
      생각이 글쓰기와 이렇게 밀접하게 연결되어 있고, 글쓰기가 산문·그림·방정식·그래프·차트 등 무엇이든 될 수 있다면, LLM이 점점 더 많은 글쓰기를 맡는 상황이 인지 능력에 어떤 영향을 줄지 흥미로움
    • 나는 이걸 인지 부채라고 부르겠음. LLM으로 큰 보고서를 써본 적이 있나?
      LLM에게 많은 글을 쓰게 하고, 구조를 잡게 하고, 논증과 시각 자료를 만들게 하는 건 매우 유혹적임. 조금씩 더 맡기다 보면 결국 그 결과물이 전혀 내 것이 아닌 상태가 됨
      그런데 그 보고서에는 내 이름이 올라가고, 나는 그걸 설명하고 이해하라는 요구를 받음. 원래 보고서는 머릿속에 있는 “고차원 현실”의 “2차원 투영”이어야 하지만, 10분의 1 시간에 뱉어낸 보고서는 그렇지 않음. 종이 위에서는 그럴듯해 보여도 개념을 설명하려면 막히게 됨
      결국 직접 작업해야 하고, 정신 모델을 만들고, 표현하고, 다시 표현하고, 또 다시 표현해야 한다는 걸 알게 됨. 대상 독자에 따라 다른 방식으로 해야 함
      LLM 이전이라면 보고서를 쓰기 위해 만들었어야 할 정신 모델과, LLM을 쓰면 거의 만들지 않아도 되는 정신 모델 사이의 간극을 설명하는 말로 인지 부채가 적절하다고 봄
      끝내 보고서나 논문에는 내 이름이 올라간다. 저자인 나에게 무엇을 기대할 수 있을까? 시간이 지나며 그 기대가 낮아질 수도 있음. 깊이 있는 질문이 생기면 저자를 건너뛰고 LLM의 “정신” 모델에 의존하게 될지도 모름. 하지만 LLM 같은 다른 모델은 근본적 진실과 현실에 대해 서로 다른 “모델”, 즉 예측 알고리즘을 가질 수 있음. 가장 정확한 예측을 가능하게 하는 건 어느 쪽인가? 거기에는 일정한 이해의 깊이가 필요하고, LLM에 지나치게 의존해 글을 쓰면 그 깊이는 생기지 않음
      장기적으로는 실제로 인구 수준의 “인지 저하, 또는 인지 능력 상실”로 이어질 수 있지만, 그렇게 단정하긴 조심스럽다. 인쇄술은 당시 종교 엘리트가 일반인이 텍스트를 제대로 해석하지 못할까 우려했음에도 그런 결과를 낳지 않았음
      이 스레드에서도 나왔듯이 “글쓰기는 생각”이라고 봄. 다만 아직 발명하지 못한, 글쓰기보다 더 나은 무언가가 있을 수도 있음. 생각이란 우연보다 높은 확률로 미래를 예측할 수 있게 해주는 상세한 정신 모델을 개발하는 일임. 우리의 생존은 거기에 달려 있고, 정보 이론 관점에서 진화가 바로 그것이기도 함 [0]. “정보의 빛 없이 생물학의 어떤 것도 의미가 없다”
      [0] https://www.youtube.com/watch?v=4PCHelnFKGc
    • “뇌는 필요 없는 정보를 붙잡아두지 않는다”면, 왜 아직도 config.sys와 autoexec.bat를 설정해서 DOS의 기본 메모리를 최적화하는 법을 알고 있는 걸까?
      20년 동안 해본 적도 없고, 앞으로 다시 할 일도 없을 거라고 꽤 확신함
    • “인지 저하”나 “뇌 썩음” 같은 표현은 너무 선정적으로 들렸을 수 있고, 공정하게 말하면 저자들도 작은 표본 크기의 한계를 적어두었음
      논문이 “인지 부채”라는 용어에 대한 참고문헌이나 인용을 제공하지 않는 것도 이상한 제목처럼 보임. 막판에 바꾼 것일 수도 있음
      MIT에서 나온 흥미로운 연구임. 모든 심리학 연구처럼 건전한 의심과 독립적 검증이 필요함. 영상화와 심리측정 평가까지 다 넣은 잡탕 느낌도 있지만, “LLM을 쓴 당신의 뇌는 이렇습니다” 같은 그림을 누가 싫어하겠나
    • “뇌는 필요 없는 정보를 붙잡아두지 않는다”는 말은 그럴듯하지만, 한 번 배우면 사라지지 않는다고 흔히 말하는 자전거 타기 같은 기술은 어떻게 설명해야 할까?

  • LLM은 사회가 스스로 면역을 갖추게 될 또 하나의 기술처럼 점점 느껴짐
    교육에서는 이미 교사가 학생과 대화하고, 배우는 모습을 관찰하고, 기술을 보여주는 과정을 확인하는 식으로 시작되고 있음. 비즈니스에서도 곧 가치 있는 의사소통의 대부분은 사람들이 자신이 말하고 싶은 바의 저자로서 직접 만들어야 한다는 걸 깨닫게 될 것임. 저작 행위는 대부분의 의사소통에서 핵심의 3분의 2쯤 됨
    물론 그 전에 부작용에 제대로 면역을 갖추려면 극적인 사고의 얕아짐 충격을 겪어야 할 것임. “평범함”을 신봉하는 순진한 애호가들에 맞선 전문가들의 LLM 거부감은 초기 면역 경험처럼 보임: https://fly.io/blog/youre-all-nuts/
    내 프로젝트에서 LLM을 “거시적으로” 쓰면 언제나 내 사고가 크게 망가지고, 의사결정을 빼앗기며, 이후 필요한 적응 준비도가 나빠졌음. 중요한 일에서 LLM은 엄격히 미시적 빈칸 채우기 도구일 뿐임
    이건 계산기와 다름. 손계산용으로 좋아하던 알고리즘을 빼앗기는 게 아님. 이건 생각 자체를 비사고로 대체하는 시스템이고, 쓰는 모든 영역에서 준비도·깊이·적응력·소유감을 심각하게 해침

    • 비즈니스에서 가장 과소평가되는 능력 중 하나는 일관된 서사를 엮는 능력이라고 믿음
      매우 뛰어난 엔지니어들과 회의에 많이 참석하지만, 기술자와 비기술자 모두가 따라올 수 있는 방식으로 자기 논거를 제시하지 못하는 경우가 많음. 글쓰기와 말하기에는 예술성이 있고, 40대 후반이 된 지금에야 그 가치를 진짜로 깨닫기 시작함. 언어는 강력한 도구이며, 단어 하나의 선택이 때로는 논증을 살리거나 망칠 수 있음
      LLM이 이 상황을 전반적으로 훨씬 악화시키는 것 말고 무엇을 할 수 있을지 모르겠음
    • 이미 다 벌어지고 있음. 주니어 엔지니어와 채팅 플랫폼에서 최신 아이디어를 이야기하는데, 실시간 답변이 한 페이지 길이에 글머리표로 구조화되어 나오기 시작함
      무서운 건 그들이 ChatGPT를 써서 생각을 피한다는 점만이 아니라, 아무도 눈치채지 못할 거라고 생각하거나 어른들이 원래 그렇게 대화한다고 믿는다는 점임
    • “사회가 면역을 갖추게 될 또 하나의 기술”이라는 낙관은 마음에 듦. 아직 2010년대 소셜 미디어 기술에 대한 집단면역도 생기지 않았지만, 그 낙관은 받아들이겠음
    • 가치 있는 의사소통의 대부분이 사람에게서 나와야 한다면, 실제로 의사소통 중 얼마나 많은 부분이 가치 있는가라고 물을 수도 있음
      실제로는 가치가 별로 없는 의사소통도 많다고 봄. 그래도 계속 만들어지고, 아무도 읽지 않는다면 생성은 자동화해도 되지 않나
      물론 제대로 맞춰야 하는 중요한 것들도 상당히 많음
    • “가치 있는” 의사소통이 얼마나 되는지가 핵심임
      학계에 있지만, 이론적으로는 가장 많은 사고를 요구하는 직업 중 하나여야 함. 그런데도 내가 쓰는 글의 절반 이상은 각종 보고서, 연구비 신청서, 윤리·데이터 관리 신청서, 추천서, 행정 양식 같은 것들임. 이것들은 유용한 사고를 요구하지 않는다는 의미에서 “가치 있다”고 보기 어렵고, 멍청한 요구사항만 처리되면 텍스트가 나답게 들리는지에는 전혀 관심 없음
      이런 용도에서는 LLM이 축복이고, 실제 연구와 대면 수업에 더 많은 시간을 쓸 수 있게 해주므로 오히려 생각하는 데 도움을 줄 가능성이 큼

  • 여기서 말하는 인지 부채 논의는 정확하지만, 오히려 너무 보수적일 수 있다고 봄
    언어 같은 기술을 잊거나 GPS 사용으로 공간 기억을 잃는 수준이 아님. 통합적 추론을 담당하는 신경 경로가 체계적이고 되돌릴 수 없게 위축되는 문제일 수 있음
    핵심 위험은 연습으로 갚을 수 있다는 뉘앙스의 “부채” 자체가 아니라 인지적 티핑 포인트를 넘는 것임. 실행 기능, 종합, 논증이 LLM 같은 외부 시스템으로 너무 많이 이전되어 생물학적 뇌가 무자비한 효율성에 따라 사용하지 않는 연결을 가지치기할 뿐 아니라, 그것을 재구축하는 메타 능력까지 잃는 임계점임
    우리의 생물학적 습식 하드웨어는 버전 관리가 없는 “쓰지 않으면 잃는” 시스템임. 복잡한 인지 기능이 위축되면 “소스 코드”가 손상됨. 깊고 구조화된 사고를 지탱하던 무너진 신경망에는 git revert가 없음
    이 HN 스레드는 에세이 쓰기에 집중하지만, 규모를 키워보면 우리는 집단 인지를 외주화하는 거대한 통제 불가능 실험을 하고 있음. 장기적 결과는 덜 숙련된 사람들의 사회가 아니라, 우리 세계를 만든 종류의 사고를 구조적으로 할 수 없는 사람들의 사회일 수 있음
    따라서 질문은 “인지 부채를 어떻게 피할까?”가 아님. 진짜 무서운 질문은 “생물학적 마음의 그릇이 그렇게 무자비하게, 어쩌면 되돌릴 수 없게 게으름에 최적화된다면, 우리 정신에는 어떤 그릇이 필요한가?”임
    https://github.com/dmf-archive/dmf-archive.github.io

    • LLM을 무엇에 쓸지는 각자가 결정할 일임. 마찰은 크고 처리량은 낮은 작업, 예를 들어 열악한 검색 도구로 온라인 조사를 할 때 텍스트 모델은 훌륭하다고 느낌
      모르는 것을 묻거나 “지루한 부분”을 건너뛰는 데 좋음. 특히 난해한 기술 문제 해결책을 포럼이나 소셜 미디어 여러 페이지에서 찾는 과정이 나를 더 똑똑하게 만든다고는 전혀 느끼지 않음. 어차피 정보는 검증해야 하고 신중하게 받아들여야 함
      원래 의도대로의 StackExchange라면 텍스트 모델보다 훨씬 가치 있었을 것임. 하지만 현실의 사람들은 불완전하고 온갖 인지 편향과 짐을 갖고 있으며, LLM은 질문이 추천과 상호작용을 받은 직후 “너무 광범위함”이라며 닫지는 않음
      반대로 내가 잘 아는 주제에 대한 LLM 글쓰기는 여전히 크게 열등하다고 봄. 예를 들어 이메일을 쓰려고 하면 방향을 유지하도록 프롬프트를 고치거나, 나온 결과를 크게 다시 쓰느라 결국 비슷한 시간을 씀. 텍스트 모델을 교정·동료 검토하느니 내 흐름대로 직접 쓰는 편이 낫다

  • AI는 Zettelkasten의 반대임
    주제에 적극적으로 작업하며 점점 깊은 통찰을 얻는 대신, AI가 생성한 콘텐츠 말뭉치 위를 빠르지만 얕게 반복함
    예를 들어 중동 상황을 더 이해하고 싶어서 OpenAI를 공동 저자로 삼아 Hamas와 Hizbulah의 기원에 대한 10쪽짜리 에세이를 썼음
    그런데 기억나는 게 아무것도 없고, 더 나쁘게는 기억나는 것들이 내가 고친 환각인지 실제 사실인지 모르겠음

    • 똑똑한 사람들은 대체로 글쓰기가 글로 된 결과물을 얻는 일만큼이나 생각하는 일이라는 걸 알고 있음
      LLM은 대신 써주는 도구가 아니라, 실수를 찾고, 빈틈과 오류를 지적하고, 세상에 대한 일반 질문을 조사하는 데 도움을 주는 도구로 쓰면 훌륭한 스파링 파트너가 될 수 있음. 물론 항상 주의하고 출처를 확인해야 함
    • LLM의 유용성에 대해서는 낙관적인 편이지만, 이 점에는 동의함
      모델을 어떻게 조종하고 환각을 줄일지에 대한 감각은 기르게 되지만, 명료하게 설명 가능한 지식을 쌓거나 도전적인 사고를 하게 되는 건 아님. LLM 출력의 특정 형태를 보고 더 신뢰할지, 다른 프롬프트 전략을 시도할지, 문맥을 지울지 말지 같은 근육 기억식 반응을 익히는 데 가까움
      이걸 기술이라고 부를 수 있다 해도, 모델이 좋아지면 몇 년 안에 쓸모없어질 가능성이 큼. 조립 라인 노동자가 느낄 법한 무기력함이 듦
    • 일이 순조롭게 풀린 것보다 문제 생긴 부분을 더 잘 기억하는 경향이 있으니, 직접 고쳐야 했던 부분을 기억하는 거라고 봄
    • AI를 연결된 지식, 즉 Zettelkasten에 접근하는 것의 반대로 보는 관점이 흥미로움

  • 개인적으로 결과가 놀랍지는 않음. AI를 내 글쓰기나 번역 작업에 사용하면, 전부 직접 할 때만큼 글쓰기나 번역 과정에 정신적으로 몰입하고 있다는 느낌이 들지 않음
    하지만 다른 방식으로 AI를 쓰면 그 자체로 매우 정신적으로 몰입된다는 것도 알게 됨. 지난 2주 동안 Claude Code로 에세이와 연구 논문의 브레인스토밍, 조사, 작성을 얼마나 완전 자동화할 수 있는지 실험하고 있음. 직접 쓰거나 번역할 때만큼 깊이 몰입했지만, 몰입의 형태가 다름
    실험 결과는 지금까지 꽤 좋음. 즉, AI 에이전트가 썼다는 걸 알면서도 산출된 에세이와 논문을 읽으면 종종 흥미로움. 물론 출판하거나 공유할 계획은 없음

    • AI 도구는 재미나 무작위 질문에는 쓰지만, 실제 업무에는 거의 전혀 쓰지 않음
      점점 더 드문 집단, 즉 실제로 무언가를 할 수 있는 사람들에 내가 속하게 되고 나머지는 점점 무능해지는 건 아닐지 궁금함

  • “LLM 그룹 참가자는 뇌 활동, 언어, 점수 모든 수준에서 Brain-only 그룹보다 낮은 성과를 보였다”는 건 놀랍지는 않지만 암울함

    • 오래된 자동화의 역설과 맞아떨어지는 듯함 [1]
      사람이 결과를 검토하고 도장만 찍는 역할을 하면 대체로 형편없이 해냄
      진정한 증강 워크플로를 만들려면 참여 방식이 핵심이라고 한동안 생각해왔음. LLM이 쓴 코드를 검토한다고? 별로임. LLM이 내 변경사항을 지켜보며 피드백을 준다면? 완전히 다른 이야기임. 어렵고 딱히 인기 없을 수도 있지만, 우리가 어떻게든 운전석에 남아 있지 않으면 꽤 암울해질 것 같음
      [1]: https://en.m.wikipedia.org/wiki/Ironies_of_Automation
    • “우리는 생각하는 기계들을 부정해야 한다. 인간은 스스로의 지침을 세워야 한다. 이것은 기계가 할 수 있는 일이 아니다. 추론은 하드웨어가 아니라 프로그래밍에 달려 있고, 우리가 궁극의 프로그램이다! 우리의 지하드는 ‘덤프 프로그램’이다. 인간으로서 우리를 파괴하는 것들을 버리는 것이다!”
      https://dune.fandom.com/wiki/Butlerian_Jihad

  • 이제 코딩 대부분을 AI로 하면서 조금 예상 밖이었던 부작용은 훨씬 덜 피곤하고 더 오래 집중할 수 있다는 점임
    다른 방해 요소가 있는 상황에서도 일을 해내게 해줌. 본질적으로 일부 정신 용량을 AI에 넘기면 다른 곳의 용량이 비는 셈임

    • 나는 정반대임. 훨씬 생산적이 되어 여러 일을 병렬로 하게 되고, 하루가 끝나면 뇌가 100% 용량으로 일한 것처럼 극도로 피곤함
    • 한편으로는 단기 피로를 줄여주지만, 조심하지 않으면 더 긴 시간축에서 피로를 더 키우는 변곡점도 있음
      예전에는 예상치 못한 오류나 문서 확인 같은 것이 “과속방지턱” 역할을 해서 숨을 고르게 했고, 보통 그때 얼마나 지쳤는지 알아차리고 잠시 멈췄음
      AI를 쓰면 그런 과속방지턱은 여전히 있지만, 때로는 약간의 추가 추진력이 생겨서 내가 얼마나 지쳤는지 되돌아볼 만큼 충분히 느려지지 못함
      AI가 맞을 필요도 없음. 현재 상황에 맞춘 제안을 읽는 것만으로도 내 사고 흐름이 촉발되어 다시 잡아두기 어려울 때가 있음
    • AI를 자동차처럼 생각하는 걸 좋아함
      도시 밖 Walmart에 걸어가서 물건을 들고 돌아올 수도 있지만, 자동차를 쓰면 훨씬 빠르고 덜 지침. 그러면 좋아하는 일에 더 많은 양질의 시간을 쓸 수 있음

  • GAN이 유행하던 시절 이미지 생성을 위해 생성자-판별자 모델을 학습시켰음
    많이 생각해보니 판별은 생성보다 훨씬 쉽다는 걸 깨달음
    예를 들어 좋은 UI와 나쁜 UI는 구별할 수 있지만, 살려달라고 해도 좋은 UI를 만들 수는 없음. 영화가 좋은지는 바로 알지만, 괜찮은 단편소설을 쓰는 건 고된 일임
    그림이 얼마나 사실적인지는 판단할 수 있지만, 단순한 자전거 하나도 남을 설득할 만큼 그릴 수 없음
    많은 경우 LLM 생성물이 좋은지 나쁜지는 판단할 수 있음. 그러면 거친 전략으로 나쁜 결과를 버리고 목표를 달성할 때까지 계속 생성할 수 있음. LLM이 유용한 건 바로 이 판별과 생성의 격차 때문임
    이 두 기술은 별개임. 생성 능력은 익히기 어렵고 매우 가치 있음. 계속 훈련하지 않으면 위축될 것임

    • 아주 단순한 경우, 예를 들어 명백히 나쁜 그림과 좋은 그림을 구별하는 경우에는 맞다고 봄
      하지만 더 복잡한 작업, 특히 깊은 평가가 필요한 영역에서는 반드시 그렇지 않음. 예를 들어 사소하지 않은 PR 5개를 검토하는 건 직접 작성하는 것보다 더 어렵고 시간이 오래 걸 가능성이 큼
      이미지나 짧은 이야기에서 잘 작동하는 이유는 적용하는 필터가 “좋다 vs 나쁘다”가 아니라 마음에 든다 vs 마음에 들지 않는다이기 때문임

  • 우리는 이런 기술과 더 건강한 관계를 맺는 법을 배우게 될 가능성이 높다고 봄. 시간표는 모르겠음. 세대가 걸릴 수도 있고, 생각보다 빨리 일어날 수도 있음
    언어 모델이 순가속제라는 건 분명함. 하지만 평균적인 사람이 더 “말을 잘하게” 된다면, 원초적 지능을 나타내는 신호도 시간이 지나며 바뀔 것임
    누구도 언어 모델과 관계를 맺고 싶어 하지는 않음. 하지만 언어 모델은 큰 인생 변화와 좌절을 감당할 준비가 안 된 사람들에게 도움이 될 수 있음. 도구이고, 사용법을 알면 됨
    실제 예로 연애 조언을 보자. 시간이 지나면 “ChatGPT가 안내하는 관계”는 두 부류로 나뉠 것 같음. 하나는 원래부터 부족했던 의사소통에 복잡성만 더하는 “복붙형”, 즉 “ChatGPT가 말한 걸 그냥 복사했어” 유형이고, 다른 하나는 ChatGPT로 자기와 파트너의 동기를 분석해 흔한 문제의 더 나은 해결책을 찾는 “가속형”임
    후자를 제대로 판단하려면 여전히 두뇌와 공감이 필요함. 전자는 언제나 상심으로 끝날 것임. 사람들이 결국 이 차이를 알아낼 거라고 믿음

    • “누구도 언어 모델과 관계를 맺고 싶어 하지는 않는다”는 말에는 확신이 없음
      직접 또는 간접 경험은 없지만, 실제로 AI와 일종의 관계에 빠지는 사례를 많이 들었고, 그 매력도 어느 정도 이해됨. 완전히 판단하지 않고, 내 이야기를 하고 싶을 때 항상 곁에 있으며, 나에게 요구하지 않는 “누군가”를 가질 수 있음. 실제 관계와는 전혀 다르지만, 최악의 인간관계보다는 객관적으로 낫고 외로움보다는 정신 건강에 나을 가능성도 있음
      좋든 나쁘든 앞으로 10년 동안 인간-AI 관계는 빠르게 늘 것 같음. 한편으로는 기억과 장기 계획 능력, 어쩌면 로봇 몸체의 개선이 있고, 다른 한편으로는 외로움 유행의 확산이 있기 때문임

  • 이건 인지적 오프로딩이라고 부름. 코딩 보조 도구와 충분히 오래 일해본 사람이라면 알아볼 것임

    • 또는 엔지니어링 매니저로 일해도 알 수 있음
      더 높은 추상화 수준에서 일할 때 생기는 필연적 결과임. 세상의 끝은 아님. 내 어셈블리 실력도 녹슬었음
답변달기