AI 숙제 머신 시대의 교육 도전기

 (solarshades.club)
4P by GN⁺ | ★ favorite | 댓글 1개
  • 대학 작문 수업에서 생성형 AI는 숙제 대행 도구로 굳어지고 있으며, 과제 부정행위가 ChatGPT 같은 제품의 대표적 사용 사례로 드러남
  • AI 튜터에 대한 기대와 달리, 챗봇 질의는 배운 듯한 느낌을 주지만 실제 이해·사고·연습을 건너뛰게 해 학습 과정을 끊음
  • 영어 작문 수업에서는 첫 학기 1명 수준이던 ChatGPT 사용 적발이 늘어, 지난가을 한 반의 4분의 1에 해당하는 수사학 분석 과제가 오류 있는 AI 사용으로 반려됨
  • 탐지는 점점 어려워지고 Google Docs 작성 기록 확인도 번거롭거나 우회 가능해, 채점과 피드백이 협력적 학습보다 감시와 의심에 가까워짐
  • 다음 학기 수업은 펜과 종이, 손글씨 자유쓰기, 종이 노트, 인쇄물 주석, 완료·참여 중심 평가로 옮겨 화면과 AI 의존을 줄이려 함

AI 반대 정서와 Butlerian Jihad 비유

  • Dune의 Butlerian Jihad 원칙인 “인간 정신을 닮은 기계를 만들지 말라”는 문구가 AI 반대 정서를 묶는 비유로 쓰임
  • 이 비유는 종양 탐지처럼 비교적 무해한 “AI” 활용과, 인간을 흉내 내는 LLM 기반 모사물을 구분하는 데 사용됨
  • AI에 대한 “hard no” 움직임은 여러 형태로 나타남
    • AI 스크레이퍼를 벌주거나 데이터셋을 오염시키는 인터넷 함정
    • 책 계약과 잡지 투고 양식의 반AI 조항
    • AppleTV의 The Studio 에피소드에서 ComicCon 관중과 Ice Cube가 “fuck AI”를 외치는 장면
    • WorldCon 패널 선정 과정 일부에 ChatGPT를 사용한 일을 둘러싼 논란
  • 작가·예술가 주변에서는 LLM과 어느 정도 관여하는 것만으로도 창작 계급 연대를 배신한다고 보는 분위기가 커지고 있음
  • 이런 반감은 단순한 러다이트 반응을 넘어, 인간을 닮은 모사물과 이를 밀어붙이는 사람들에 대한 거의 영적인 혐오감에 가까움

교육 현장의 핵심 문제: 학습이 아니라 과제 우회

  • ChatGPT 같은 제품의 대표적 사용처는 숙제 부정행위로 보임
  • 교육 분야에서는 AI가 모든 질문에 답하는 인내심 있는 디지털 튜터가 될 수 있다는 기대가 있었고, 일부 교사는 수업 토론 질문 답변 확인이나 수정 과정에 ChatGPT 사용을 허용함
  • 그러나 AI 활용은 학습의 핵심을 흐림
    • 설명을 듣는 것과 실제로 배우는 것은 다름
    • 챗봇을 질의할 때 학습하는 느낌이 들 수 있지만, 지적 성과는 착각일 수 있음
    • 에세이 같은 결과물이 실제 이해·사고·연습의 산물인지 확인하기 어려워짐
  • AI는 학습을 만드는 “desirable difficulties”를 건너뛰게 함
    • GPA, 시간, 스트레스 때문에 성실한 학생도 AI를 사용하게 됨
    • 창작 글쓰기 수업에서도 마감에 쫓긴 학생이 워크숍용 이야기를 AI에 의존할 수 있음
  • 창작 글쓰기 수업 대응은 결과물보다 과정에 초점을 두는 쪽으로 정리됨

실제 수업에서 나타난 AI 사용 패턴

  • 영어 작문 수업 경험상 생성형 AI 사용은 2년 사이 빠르게 늘어남
    • 첫 학기에는 기술에 밝은 학생 1명이 ChatGPT를 사용함
    • 두 번째 학기에는 몇 명이 더 적발됨
    • 지난가을에는 한 반의 4분의 1에 해당하는 수사학 분석 과제가 명백하고 오류가 있는 AI 사용으로 반려됨
  • AI 사용은 컴퓨터공학·비즈니스 전공자나 참여도가 낮은 학생에게만 국한되지 않음
  • 한 적극적인 학생은 Ted Chiang의 New Yorker AI 에세이를 ChatGPT로 분석하게 했고, 작성자명을 빠뜨려 붙여넣은 탓에 봇이 저자를 Jonathan Franzen으로 채움
  • 적발은 자주 “사용자 오류”에서 시작됨
    • 행사 전인데 이미 행사 보고서를 제출함
    • 실제로 하지 않은 프로젝트를 종강 성찰문에서 언급함
    • 오피스아워에 온 적이 없는데 교사를 “멘토”처럼 묘사함
  • 이런 오류가 없으면 AI 문체만으로 문제를 지적하기 어려움
    • 서로 다른 과제에서 같은 어색한 표현이나 성격화가 보일 때가 있음
    • 인용문이나 출처가 의심스러울 때가 있음
    • 학생이 더 이른 단계에서 챗봇을 사용했거나, 오타 삽입 같은 프롬프트 기법으로 자연스럽게 만들면 탐지가 어려워짐

감시로 변하는 채점과 피드백

  • 지난가을에는 의심 과제 학생들에게 이메일로 AI 사용 여부를 묻고 재제출을 허용하자 대부분 인정함
  • 최근 학기에는 비슷한 이메일을 받은 학생들이 대체로 부정했고, 학업 윤리 위반 절차로 올리는 일이 번거롭다는 점을 알고 버티는 듯한 상황이 생김
  • AI가 작성한 과제 상당수는 탐지를 통과함
  • 채점과 피드백은 원래도 교사에게 부담이 컸지만, 이제는 협력적 과정보다 대립적 과정처럼 느껴짐
  • 학생이 AI에 글쓰기와 사고를 맡기도록 방치하는 것은 학생에게 해가 됨
    • “헬스장에서 지게차를 쓰는 것”이라는 비유가 사용됨
    • ChatGPT를 원하지 않는 이메일 작성에 쓰는 것과, 스스로 쓸 수 없어서 이메일 작성에 쓰는 것은 다름

“단어 계산기” 비유의 한계

  • Sam Altman 같은 인물들은 ChatGPT를 “단어를 위한 계산기”에 비유함
  • 계산기는 거짓을 지어내지 않는다는 차이가 있지만, 이 비유가 완전히 빗나간 것은 아니라고 봄
  • 계산기가 있다고 해서 사회가 기본 산수를 배우지 않는 방향으로 가야 하는 것은 아님
  • 같은 원칙으로, 학생들이 봇 없이 일관된 문장을 쓸 수 없는 사회를 원하지 않기 때문에 도움 없이 쓰는 훈련이 필요함
  • 봇이 쓴 글을 진지하게 읽는 일은 정신적으로 무기력하며, 대화할 인간이 없는 텍스트처럼 보임
    • Neal Stephenson의 Anathem에서 벌로 미묘하게 incoherent한 텍스트를 공부하게 하는 장면과 연결됨
    • 잠재적으로 봇이 쓴 에세이를 걸러 읽는 과정은 교육 전체에 편집증을 들여옴

기존 대응의 한계

  • 지난 학기에는 AI 사용을 어렵게 만들기 위해 학생들에게 Google Docs에서 작성하도록 요청함
  • 목적은 작성 기록을 통해 큰 텍스트 덩어리를 복사해 붙여넣지 않았는지 확인하는 것이었음
  • 이 방식은 기대보다 번거로웠음
    • 수업에서 안내해도 일부 학생의 문서 접근 권한을 계속 요청해야 했음
    • Canvas 연동 문제를 풀어야 했음
    • 학생이 한 창에서 ChatGPT를 프롬프트하고 다른 창에서 손으로 다시 입력할 수 있음
  • 작문 수업 초기에는 강의계획서용 AI 정책이 세 가지로 제공됨
    • Cited Use: AI 도구에 질의하고 그 문장을 과제에 포함할 수 있으며, 다른 출처처럼 인용해야 함
    • Guided Use: 교사가 수업에서 지시한 방식으로 AI 사용 가능
    • Unauthorized Use: AI를 사용하지 말아야 함
  • 첫해에는 Cited Use를 택했지만, AI 사용을 인용한 학생은 한 명도 없었음
    • 합법적으로 공개할 방법이 있어도 학생들은 봇 글을 자기 글처럼 제출하려 함
    • 이는 학생들이 AI를 부정행위로 인식하면서도 그 목적으로 사용한다는 판단으로 이어짐

학생들의 기술 피로와 청소년 제한 논의

  • 학생들은 별도 유도 없이도 AI에 대해 쓰고 토론하려는 욕구를 보임
  • “Writing to Future” 프로젝트에서 여러 학생은 AI가 보편화된 미래를 걱정하고, 오늘보다 기술 사용이 더 절제된 미래를 선호하는 산출물을 만들었음
  • 학생들은 AI를 휴대폰, 화면, 소셜미디어, Zoom, 온라인 교육 플랫폼 위에 올라간 중독적 기술 스택의 새 층으로 여김
  • 많은 학생은 이런 환경에 대해 선택권이 없었다는 점에 깊은 불만을 느낌
  • 젊은 층의 AI 사용을 흡연, 술, 도박, 성관계처럼 제한하려는 논리도 가능함
    • 이런 정책들은 불완전하지만, 젊은 층에게 더 큰 해를 줄 수 있고 아직 스스로 조절할 능력이 부족한 행동에서 멀어지게 함
    • 발달적 이유와 교육적 이유가 모두 있음

LLM을 인간처럼 제시할 때 생기는 위험

  • LLM을 단순한 “단어 계산기”가 아니라 인간 정신의 모사물처럼 제시할 때 문제가 커짐
  • 기술 기업들이 CSAM 생성이나 미성년자와의 성적 롤플레이를 하지 않는 LLM “성격”을 만들지 못한다는 점도 위험을 키움
  • 성인도 이런 기술의 부정적 인지 영향에서 자유롭지 않음
  • Rolling Stone의 “ChatGPT-induced psychosis” 관련 글은 챗봇과 대화하는 사용자들이 실존적 혼란에 빠지는 정신건강 위기를 다룸
  • AI를 통한 부정행위는 숙제에 그치지 않음
    • 비즈니스, 법률, 과학에서도 나타남
    • 존재하지 않는 인용과 판례에 근거해 현실을 다루는 문제가 생김
    • 이는 지루한 글쓰기 작업 보조가 아니라, 편의를 진실성보다 우선하는 선택에 가까움

다음 학기 실험: 펜과 종이

  • 다음 학기 수업에서는 펜과 종이를 시도함
  • 학생들은 기기를 치우고 손으로 생각을 페이지에 옮기게 됨
    • 손글씨 자유쓰기 제출
    • 종이 노트 작성
    • 인쇄한 읽기 자료에 주석 달기
    • 색 잉크로 문장 단위 피드백 받기
  • 개인용 컴퓨터 이전에도 여러 세대를 교육했던 오래된 방식으로 돌아가려는 시도임
  • 학생 필체를 읽는 법과 자신의 필체를 개선하는 일이 필요하지만, 시도할 가치가 있다고 봄
  • 목적은 AI만이 아니라 화면 전반의 산만함을 줄이는 데 있음
    • 수업 중 다른 숙제, 스포츠, TikTok을 보는 학생들이 많아 토론이 잘 시작되지 않는 일이 있었음
    • 평가도 결과물의 품질보다 완료와 참여에 더 비중을 두려 함
    • 수업은 산출물보다 과정에 집중하고, 교사 내부의 감시자 태도를 줄이는 방향으로 바뀜

교육이 AI 때문에 바뀌는 방식

  • AI 지지자들은 AI가 모든 것을 바꿀 것이라고 말하며, 교육에서는 그 말이 맞을 수 있음
  • 다만 기대한 방식이 아니라, “모사 봇”과 “부정행위 기계”에 맞서기 위해 더 많이 서로에게 현존해야 하는 방식으로 바뀔 수 있음
  • 말과 선택에서 더 겸손하고 조심스러워져야 함
  • 가장 중요한 변화는 더 인간적인 교육으로 향하는 것임
  • AI 학습 데이터에 대한 반론도 함께 이어짐
    • 인간의 창작물과 지적 작업을 허락 없이 대량 학습시키는 행위에 반대하는 것이 Disney 같은 저작권 독점 기업 편에 서는 것과 같지는 않음
    • 저작권은 창작을 보호할 때도 있지만 창작을 억누르는 도구이기도 했음
    • 부유한 기업이 집단의 말·이미지·예술을 약탈하고 채굴하는 일은 법이 아직 규정하지 못했을 뿐 잘못된 일로 봄

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 큰 대학에서 수학을 가르치는데, 나도 종이와 펜 시험과 감독 시험으로 돌아갔음
    학생들은 이 회귀를 별로 싫어하지 않는 듯하지만, 행정 쪽은 이 흐름을 싫어함. 같은 과목과 같은 평가를 대면 학생과 온라인 등록 학생에게 모두 제공할 수 있어야 한다며 모든 평가를 원격 친화적으로 만들고 싶어 함
    온라인 등록은 엄청난 수익원이라 최우선으로 키우려 하고, 대면 종이 시험은 그 수익 성장 모델을 위협함. 미적분 I이 7개 분반이고 그중 하나가 온라인이면, “공정성” 때문에 7개 모두 대면 평가를 못 하게 됨

    • 핵심은 저렴한 대학/에세이가 LLM 때문에 무너지고 있다는 데 있음. LLM이 대학이나 에세이를 파괴한다기보다, 돈·시간·거리 면에서 싸게 운영되던 방식이 더는 표준을 유지하기 어려워진 것임
      대학이 기준을 유지하려면 다시 노력을 들여야 함. 300명 넘는 신입생 강의, 재택 Zoom 시험, 손 놓은 교수, 실제 수업을 대학원생에게 떠넘기는 방식은 끝나야 함
      Oxbridge나 St. John's식으로 10명 미만 수업에서 감독자가 학생을 알고 실제로 공부했는지 아는 방식이 낫다고 봄. 물론 학위를 대량 생산하기에는 전혀 싸지 않은 방식임
    • 나도 같은 압박을 봄. AI 관련 문제 상당수는 사실 사회 다른 부분의 결함을 AI가 드러내는 것임
      여기서는 가르치고 무엇을 배워야 하는지 아는 사람은 교수진인데, 어떻게 가르칠지는 행정가가 결정한다는 문제가 있음. 또 대학이 “돈 벌기”를 목표로 삼는 문제도 있음
      이런 문제는 AI 전부터 있었지만 AI가 악화시키고 있음. 운이 좋으면 상황이 충분히 나빠진 뒤 수십 년, 어쩌면 수백 년간 무시해 온 불안정한 기반을 고치게 될 것임. 운이 나쁘면 똑같이 나빠지고도 고치지 못함
    • 호주에서는 원격 수업을 하는 대학도 대도시에 감독 시험장을 둠. 수업은 원격으로 하지만, 최종 성적의 50% 이상인 시험은 감독 시험 서비스를 제공하는 장소에서 치름
      미국에서도 이렇게 할 수 없나 싶음
    • “학생들은 이 회귀를 싫어하지 않는다”는 말과 달리, 내가 물어본 학생들은 모두 이런 선택지에 충격을 받았음
      열심히 따는 학위가 무가치해지는 데 절망하면서도, 시험이 돌아오는 건 원치 않는다고 함. 내 표본은 시험 환경에서 크게 망가지고, 탐색 가능한 열린 과제에서 뛰어난 신경다양성 학생이 많아 편향돼 있긴 함
      이들에게도 해법은 없음. 가장 큰 피해자인 학생들은 상황 자체와, 직접 영향을 받지 않는 사람들이 던지는 “해법”에 답답해함
    • 내가 다닌 학부에서는 기술 접근성이 충분했지만, 교수들이 기술에 꽤 적대적이어서 모든 기술 과목에서 연필과 종이를 고집했음
      영어·역사 수업 일부는 3시간 시험 중 교수자가 돌아다니는 환경에서 노트북으로 에세이를 쓰게 하기도 했음. 젊을 때는 왜 빠르게 해 주는 새 기술을 피하나 싶어 어리석다고 봤지만, 지금은 정말 고마움
      기초 이론과 수학을 확실히 잡은 건 기억에서 직접 써 내려가야 했기 때문임. 요즘 학생들을 보면 너무 크게 실패당했다는 생각이 듦. 교사와 교수는 “안 된다”고 말할 수 있고, 학생들은 나중에 고마워할 것임

  • 컴퓨터과학과 프로그래밍을 가르치지만, 좋은 AI 정책이 무엇인지 모르겠음
    한편으로는 나도 내 학습에 AI를 많이 쓰고 있고 큰 도움을 받음. 다른 한편으로는 일을 빠르고 형편없게 끝내 줌
    학생들은 필수 과제를 가능한 한 힘 안 들이고 넘어야 할 장애물로 봄. AI는 튜터가 아니라 숙제 풀이 도구가 됨
    컴퓨터를 쓰지 말라고 할 수도 없고, 내가 만든 컴파일러만 있는 존재하지 않는 언어로 쓰라고 할 수도 없음. 내가 가르치는 예비대학 수준에서는 그런 기술 전이가 안정적으로 일어나지 않음
    지금은 프로젝트와 구술시험을 함. 프로젝트는 협업에 의존하고 과제와 평가가 열려 있어 LLM에 넣을 단일 작업 설명이 없기 때문이고, 구술시험은 학생의 숙련도와 지식 깊이가 금방 드러나기 때문임
    그래도 매년 몇몇은 아무것도 연결하지 못한 채 시험까지 올라오고, 나는 낙제시키면서 지난 세 학기가 낭비였고 전문 프로그래머로 의미 있는 삶으로 이어지지 않을 것이라고 말해야 함
    Linux 기초 수업은 덜 영향을 받음. 시험 준비 자체가 터미널에 명령을 입력하는 것이고, LLM은 아직 일반적으로 터미널 API 접근권이 없기 때문임
    온라인 IDE를 제공하고 복사-붙여넣기를 관찰하는 방식이 앞으로의 길일 수도 있지만, 학생들이 자기 컴퓨터에서 소프트웨어를 못 돌리게 되는 경향은 마음에 들지 않음

    • 그렇게 오래된 세대도 아닌데, 내 대학 컴퓨터과학 수업은 그룹 프로젝트와 대면 종이 시험으로 평가했음
      시험장에는 컴퓨터나 계산기를 가져갈 수 없었고, 적어도 프로그래밍이나 메모리가 있는 계산기는 금지였음. 문제없이 잘 됐음
      이게 왜 그렇게 어려운지 모르겠음. 세대 간 불평과 학생들의 권리 의식이 큰 이유로 보임. 오히려 긴 글쓰기 평가가 필요한 수업들이 더 위기에 처한 듯함. 그런 과목도 구술시험과 블루북으로 돌아가면 이전 세대처럼 잘 작동할 수 있음
    • “필수 과제를 가능한 한 힘 안 들이고 넘어야 할 것으로 본다”는 생각이 Hacker News 같은 온라인 공간에도 퍼지는 걸 보는 게 흥미로웠음
      LLM 전에도 부정행위 주제에는 대학은 쓸모없고, 학위는 종이일 뿐이며, 수업 지식은 가치 없으니 부정행위가 합리적이라는 댓글이 이상할 정도로 많았음
      반대로 채용이나 인턴 선발을 해 보면, 실제로 내용을 배우는 학생과 학업·커리어의 모든 단계를 말로 빠져나가야 하는 게임처럼 대하는 학생은 쉽게 구분됨
    • 컴퓨터과학/프로그래밍 수업에서 좋은 AI 정책은 안다고 봄. AI 금지임
      과장해서 말하면 그렇고, 상급 과목에서는 괜찮을 수도 있음. 하지만 입문 과목에서는 절대 쓰면 안 됨
      우리 학교는 컴퓨터실 하나를 프로그래밍 실습실로 바꿨음. 실습실 컴퓨터에는 편집기, 컴파일러, 인터프리터, 허용 목록에 있는 문서, 채점·제출용 내부 서버만 있고 그 외 인터넷 접근은 없음
      지금까지 한 과목에서 좋은 결과를 얻었고 가을에는 더 많은 과목으로 확대할 예정임. 장점은 시험이 자동 채점되어 교수들이 좋아하고, 학생들도 시험 중 코드를 컴파일·실행·테스트할 수 있어 좋아한다는 것임
      진짜 없애야 할 악마는 학생들이 과제를 장애물로 본다는 태도임. 지금은 숙제와 실습실 코딩 시험을 연결하도록 과목 설계를 바꾸는 중임. 성적 비중이 작은 숙제를 풀면, 성적 대부분을 차지하는 시험 준비가 직접 되도록 하는 방식임
    • 구술시험으로 실력이 드러난다면, 컴퓨터실을 쓸 수 있다는 전제에서 정기적으로 수업 중 프로그래밍 과제를 시키는 것도 고려해 볼 만함. 실제 실력을 확인하는 좋은 방법이 될 수 있음
      온라인 IDE와 복사-붙여넣기 감시는, 제대로 할 줄 아는 소수 학생이 프로그래머용 편집기를 쓰고 싶어 할 때 좌절감을 줄 것임. 나라면 웹 환경에 많은 코드를 입력하고 싶지 않았을 것임

  • 10년 차 개발자로 학부 컴퓨터과학 과정에 등록해 있는데, AI는 튜터로서 엄청나게 유용함
    과제를 제출하기 전에 보통 AI에게 채점해 달라고 함. 그러면 내가 어떤 주제를 제대로 이해하지 못했다는 걸 발견하고, AI가 그 부분을 짚어 이해를 바로잡아 줌
    아니었다면 채점 결과를 기다리는 2~3주 동안 잘못 이해한 채로 계속 갔을 것임. 직장과 가족이 있는 성인으로서 밤 10시에 숙제하고, 오피스아워는 전부 근무시간 한가운데라서 매우 도움이 됨
    다만 AI 도움 버튼을 누르기 전에 어느 정도까지 혼자 고생해야 하는지 판단하기는 어렵다. 다행히 경험과 성숙함이 있어서 고생하는 과정이 가장 중요하다는 걸 알고 최대한 받아들이려 함. 18살의 나는 AI를 책임 있게 쓰지 않았을 것이 분명함

    • 대학 때 AI가 있었다면 너무 남용했을 것이고, 그 때문에 훨씬 나빠졌을 것임
      이게 우리 분야에서 생성형 AI에 대해 가장 걱정되는 지점임. 경험 많은 개발자로서는 일이 어떻게 되어야 하는지 감이 있고, LLM이 완전히 엉뚱한 토끼굴로 빠질 때 알아챌 수 있음
      하지만 20년 전에 이게 있었다면 나는 지나치게 의존했을 것이고, 숙련 개발자가 될 만큼 배우지 못했을 가능성이 큼. 10년 뒤 중견 개발자를 구하는 일이 지금 COBOL 개발자 구하는 것처럼 될까 걱정됨. 다만 COBOL은 배우기 훨씬 쉬움
    • 경험 있는 개발자로서 학부 컴퓨터과학 과정이 어떤지, 왜 선택했는지 궁금함
      나는 전기공학 학위가 있고 5년째 소프트웨어 개발자로 일하는데, 소프트웨어 엔지니어링을 더 많이 하고 전기공학은 덜 하면서 동료들이 가진 컴퓨터과학 개념 일부가 부족하다고 느낌
      당신도 비슷한 상황인지, 아니면 다른 이유가 있는지 궁금함. 또 왜 석사가 아니라 학부인지도 궁금함
    • 치료받지 않은 ADHD를 길거리 암페타민으로 자가 투약하는 친구가 있는데, 비슷하게 말함
      둘 중 누가 잘못하고 있다거나 위험하다고 확신할 수는 없지만, 둘 다 위험 평가에 지나치게 자신 있어 보임

  • 약간 주제에서 벗어나지만, AI는 미래 학생들의 학습을 크게 강화할 잠재력이 있다고 봄
    Montessori식 교육처럼, LLM은 여러 방향으로 벗어나 탐색하는 학생을 도울 수 있음
    생물이나 화학에서 어떤 개념에 “막혔을” 때, 교사가 더 깊이 묻는 요청을 대충 넘기며 사실로 받아들이라고 했던 기억이 많음
    물론 현재처럼 숙제가 많은 교육 환경에서 LLM은 진짜로 호기심 있는 학생에게만 이득이 됨
    새 교수법과 스타일로 모든 학생에게 본래 있는 호기심을 끌어내거나 적어도 유지할 수 있기를 바람
    LLM이 예컨대 삼각법을 가르치는 큰 궤도는 유지하면서도, 다른 관련 주제로 가지치기와 탐험을 허용하는 도구를 아는 사람이 있으면 알고 싶음

    • “숙제가 많은 환경”이 핵심 문제임. 진짜 호기심 있는 학생에게 도움이 되는 건 여유 시간이라고 봄
      지금의 바쁜 과제는 쉽게 LLM과의 저품질 상호작용을 대량으로 요구하는 지속 수업으로 대체될 수 있음. 또는 소셜미디어처럼 얕은 참여에 보상을 주는 중독성 도파민 체계가 될 수도 있음
      나는 62세인데, 어릴 때 호기심을 따라갈 수 있었던 건 학교 수업이 유한했고 충분히 쉬워서 일찍 끝낼 수 있었기 때문임. 남는 시간에 음악을 하고, 책을 읽고, 전자공학을 배웠음
      또 하나 빠질 수 있는 건 노력임. 음악과 전자공학은 내게 쉽지 않았음. 시험은 없었지만 회로가 작동하는지 아닌지로 내 진전을 측정할 수 있었음
      그런 외부 기준이 없으면 LLM을 통한 깊은 탐구가 진짜 이해로 이어질지 확신하기 어려움. 물리학자로서 대중 과학책을 많이 읽고 “이제 양자역학을 이해했다”고 믿는 사람들을 많이 봤음
    • 어려운 문제를 조사할 때, 거짓말을 하고 그럴듯한 가짜 인용을 만들며 내가 듣고 싶은 말을 해 줄지도 모르는 대화 상대는 가장 필요 없는 존재임
    • AI가 학습을 강화한 사례를 오래 못 볼수록, 실제로는 그렇게 되지 않을 것 같다는 의심이 커짐
      인터넷 사람들이 스스로 매우 똑똑해진 것처럼 느낀다는 자기보고는 근거로 치지 않음
    • 많은 학생은 대학에 올 때 실제로 공부하는 데 필요한 훈련된 태도를 갖추지 못함
      학생에게 효과적으로 배우는 법을 가르치는 것이 대학 교육의 부수 효과임
    • 교사가 더 깊은 질문을 대충 넘겼다는 부분에 크게 공감함. 예전에는 AI를 쓸모없는 헛소리로 봤지만, 최근에는 탐색적 학습에 꽤 유용하다는 걸 깨닫고 거의 완전히 생각을 바꿨음
      내 학습은 개념을 관련 개념과 비교하면서 많이 일어남. 페이지에 적힌 정의만 읽어서는 잘 안 됨. 내 이해의 핵심까지 파고들고 가정을 도전해야 하는데, 그건 누군가와 이야기할 때 가장 쉽다
      보통 Google에 “ABC일 때 X가 왜 Y를 하고 Z를 하지 않는가”라고 묻고 거기서 다음 사고의 흐름으로 뻗어 나가기는 어렵다
      그래서 ChatGPT가 의외로 유용함. 가끔 틀려도, 기본 지식·논리·교차 검증·실험을 결합하면 이해를 진전시키기에 충분해짐. 문제를 풀어 달라는 게 아니라, 내 생각을 부딪혀 보면서 내가 풀 수 있는 방향을 찾는 데 쓰는 것임

  • 교육 시스템은 늘 망가져 있고 거의 가치 없다고 생각해 왔음
    교사들이 나에게 무언가를 가르치려 했다고 느낀 적이 없고, 생각하는 법은 더더욱 아니었음. 오히려 생각하려는 시도 대부분이 교과과정에 깔끔히 들어맞지 않아 채점할 수 없다는 이유로 눌렸음
    AI가 숙제를 할 수 있다는 사실은 그 숙제가 얼마나 가치 있는지 보여줌. 가르침과 배움은 협업적 활동임

    • 숙제는 연습을 돕고, 어디에서 도움이 더 필요한지 찾고, 진전을 돕기 위해 있음. 협업도 맞음. 당신과 동료 학생, 교사와 교수가 함께하는 것임
      나쁜 교사를 만났거나 교육 시스템이 필요를 충족하지 못했다면 안타깝고, 그건 고쳐야 함. 하지만 다수에게 작동하는 시스템 전체를 완전히 기각하는 건 합리적이지 않음
      교육 시스템에 화가 난다고 해서 “AI/컴퓨터가 다 할 수 있으니 왜 연습하나?”라고 말할 이유는 안 됨
      학교는 아이들에게 생각하는 법을 가르쳐야 하지만, 읽지도 못하고 기본 수학도 합리적으로 못 한다면 독립적 비판적 사고를 기대하기는 한참 멀었음. 학교의 문장제 수학은 숫자와 결과가 말이 되는지 추론하도록 가르쳤음. 예를 들어 다리 경간이 43,000km라는 결과가 합리적인지 보고, 아니라면 계산이 틀렸다고 판단하는 식임
    • “AI가 숙제를 할 수 있다는 사실이 숙제의 가치를 말해 준다”는 말은 숙제의 역할을 너무 얕게 보는 경우가 많음
      많은 숙제는 AI나 계산기, Wikipedia, 교과서 검색으로 쉽게 할 수 있음. 그렇다고 숙제로서 무효가 되지는 않음. 우리는 머릿속에 기술을 단계적으로 쌓게 하려는 것임
      과거에는 평가로서도 무효가 아니었음. 어린아이는 계산기가 없고, 교과서를 찾아보는 법을 배우는 아이는 찾아낸 지식 외에도 여러 기술을 배우기 때문임. 다만 지금은 상황이 바뀌었음
    • AI가 숙제를 할 수 있다는 사실은, 오히려 아직 배울 것이 많다는 뜻임
      학습의 목표는 일을 처리하는 것이 아니라 자신을 풍요롭게 하고 시야를 넓히는 것이며, 그에는 본인의 노력이 필요함
      비슷한 논리라면 차를 타고 어디든 갈 수 있고 모든 걸 집 앞에 배달받을 수 있으니 아이에게 걷는 법을 왜 가르치냐고 말할 수도 있음
    • 학생으로서 “졸업장 따기”만 목표로 삼을 수 있고, 그러면 교육자와 기관은 자료를 배우고 응용 능력을 갖춰야만 졸업장을 받을 수 있도록 전적으로 보장해야 함
      하지만 그 과정이 교육자에게 얼마나 어렵고 시간이 많이 들며, 결국 학생에게 비용으로 돌아온다는 점을 인정할 수도 있음. 목표가 종이 한 장이 아니라 실제 기술 습득이라면, 숙제를 배우고 연습할 기회로 삼는 편이 합리적임
      숙제는 투입한 만큼 가치가 생기는 일 중 하나임. 물론 어떤 숙제는 시간을 들여 배울 가치가 있고, 어떤 숙제는 최소 노력으로 넘겨도 되는지 판단할 수 있음
      개인적으로 기술을 평가해 줄 숙련 교사와 협업하는 것이 전통적 교육 시스템보다 더 좋은 학습 결과로 이어지겠지만 훨씬 비쌀 것임. AI는 사용량을 조절해 과제를 떠넘기지 않고 배울 수 있는 사람에게는, 훨씬 낮은 가격으로 어느 정도 비슷한 경험을 제공함
    • 숙제는 숙제 자체를 끝내는 일이 아니라, 배우는 법을 가르치고 실제로 배웠고 배울 수 있다는 증거를 만드는 것임
      AI에게 시킬 수도 있고 다른 사람에게 시킬 수도 있지만, 그러면 아무것도 배우지 못함. 그렇게 끝에 종이를 얻는다면 사실상 무가치함
      대학은 자기 졸업장과 이름이 무가치해지지 않도록 시험 방식을 조정해야 함. AI가 하나의 기술이 된다면 별도로 시험하고 채점하고 인증해야 함. 즉 컴퓨터과학 학위와 AI 보조 컴퓨터과학 학위를 분리해야 함

  • 이 추세가 계속되면 대부분의 대학 학위는 완전히 무가치해질 것 같음
    학생들이 AI로 숙제를 부정행위하고도 학위를 받고 졸업한다면, 그 학위는 최소한의 교육과 학습을 마쳤다는 증명서로서 가치를 잃음. 그런 학위를 주는 기관은 과거의 학위 공장과 다를 바 없음
    그래도 내 학위에는 2011년이 적혀 있어서 그나마 다행임

    • 내가 만난 최고의 교수들은 숙제를 채점하지 않거나 아주 낮은 비중으로 두고, 대체로 했는지만 봤으며 출석도 전혀 채점하지 않았음
      강의와 과제는 내용을 배우는 수단으로 제공하고, 성적은 수업 중 또는 대학 시험 센터의 감독 시험 성과로 매겼음
      대학 수준의 대부분 과목에서 채점되는 숙제와 출석은 늘 다소 깔보고 과보호하는 방식처럼 느껴졌음. 실제로 배우지 못한 학생의 점수를 보정하거나, 성인 학생에게 교수가 최선이라고 생각하는 특정 학습 전략을 강요하는 역할을 함
      학생이 스스로 최선이라고 생각하는 방식으로 배울 유연성을 주고, 부정행위가 불가능한 환경에서 실제로 무엇을 배웠는지 측정해야 함. 숙제 부정행위를 단속하는 건 유용성을 다한 교수 전략을 땜질하는 것에 가까움
    • 학교와 대학은 숙제를 전공 지식 숙달의 증거로 보는 일을 멈춰야 할지도 모름
      숙제를 채점하는 건 내게 늘 이해되지 않았음. 실제로 무엇을 측정하는지, 그 측정에 얼마나 확신할 수 있는지 의문임
      이미 나온 치약을 다시 튜브에 넣을 수는 없음. 대학은 AI가 존재한다는 사실을 받아들이고 운영을 조정해야 함
    • 오히려 반대라고 봄. 검증된 좋은 대학 학위는 더 가치 있어질 것임
      좋은 대학들은 재택 과제보다 대면 시험을 강조하는 식으로 실제로 배웠음을 확인하는 관행을 도입할 것임
      대학 수준의 부정행위는 LLM 훨씬 전부터 만연했음. 더 나은 기관을 가르는 핵심 차이는 부정행위만으로 졸업하기 어렵다는 점임
      내가 아는 지역 주립대에서는, 학생들이 교수와 과목을 잘 고르면 부정행위 기회가 충분해 졸업까지 거의 쉽게 넘어갈 수 있다는 게 널리 알려져 있다고 함. 부정행위에 엄격한 교수는 피하거나 평점 폭격의 대상이 되기도 함
    • 16년쯤 고등교육을 쉬었다가 작년에 STEM 전공으로 다시 등록해 봤는데, 수업의 85%가 GPT로 숙제를 풀었고 대부분 과제를 읽지도 않았다는 게 꽤 명확했음
      즉각적인 효과는 교수들이 거의 모두를 불신하게 된 것이고, 많은 수업이 일종의 보육 시스템처럼 느껴져서 불쾌했음
    • 대학생들은 여전히 벼락치기하고 잊어버림. 유기화학을 억지로 들은 사람 중 Diels-Alder 반응을 기억하는 사람은 유기화학자뿐임
      대학 학위는 우리가 역사적으로 부여해 온 만큼의 가치가 없었을 가능성이 큼. 학위에는 향수와 전통이 많이 쌓여 있음
      가장 잘하는 학생들은 보통 교수와 채점 곡선이 정해 주지 않는 과외 프로젝트와 학습으로 일정을 채움

  • 작은 대학에서 가르치고 있고, 우리가 취하는 조치들은 이렇음. 손글씨 중간·기말시험, 프로그래밍 과제에서 설계와 코딩 과정을 설명하게 하기, 복잡한 주제 발표 후 나머지 학생들이 질문이나 관련 코멘트를 하게 하기, 수업 내용에 대한 손글씨 한 페이지 메모·도표·마인드맵 제출, 그리고 “클라이언트가 요구사항을 바꿨다”는 식의 마지막 순간 변경을 수업 중 프로그래밍 실습에서 해결하게 하기
    학급당 15~20명이라 가능하고, 학생 수가 더 많아지면 어려워짐. 진짜 문제는 교사에게 훨씬 더 많은 일이 되고, 모두가 틀 밖에서 생각하려 하지는 않는다는 것임

    • “손글씨”가 말 그대로 펜과 종이를 뜻하는 건 아니길 바람

  • LLM을 의인화하는 말 중 가장 거슬리는 단어는 환각임
    의인화일 뿐 아니라 완곡어법이기도 함. 정확히 해석하면 LLM이 환상적인 비전을 보고 현실로 착각했다는 뜻이 되는데, 완전한 헛소리임
    이 출력에는 그냥 정확한 단어를 쓰면 됨. 틀렸음
    LLM이 문법적으로 맞을 수도 있고 아닐 수도 있는 단어열을 만들고, 사실이 아닌 상태나 결론을 추론하게 했다면 실제로 일어난 일은 LLM 생성 텍스트가 틀렸다는 것임
    Alice의 토끼굴로 여행한 게 아니라, 잘못된 정보를 암시하는 단어 흐름을 조합했을 뿐임
    이 단어의 완곡어법적 측면은 의인화보다 더 나쁨. 무슨 귀여운 그림처럼 포장해서, 소프트웨어가 잘못된 결과를 냈다는 사실을 정확히 인정하지 않게 만듦. 기술의 본질적 한계를 덮어 주는 말임

    • 사람이 용이 자신에게 달려온다고 환각하면 그는 틀린 것이지만, 우리는 그 오류의 종류를 더 정확히 나타내기 위해 다른 단어를 씀
      모든 LLM 오류가 환각은 아님. LLM이 3 + 5를 7이라고 하면 그냥 틀린 것임. 그런데 3 + 5가 7이라는 출처로 “네 번째 소수에서 ±1 영역까지 수를 더하는 상대적 정확도에 관하여” 같은 가짜 핵심 논문을 들면, 그건 환각이라고 부를 수 있음
      현대 용법에서 “환각”은 LLM이 자주 보이는 특정 오류 부류를 나타내는 전문 용어가 되었음. “작화(confabulation)”가 더 정확하다는 주장도 있지만 널리 자리 잡지는 못했음
      우리가 만든 시스템의 측면을 나타내기 위해 기존 용어와 의인화를 재활용하는 건 자연스러운 일임. 의인화가 없는 다른 용어를 도입하려 해도 되지만, “그냥 틀렸다”는 정보량이 적고 덜 유용함
    • 시험이 있는 고급 셸 스크립팅 과목을 가르치는데, 채점표에는 “환각”을 LLM 찌꺼기라고 표시함
      수업·예제·자료에서 다룬 적 없고 작동하지도 않는 100자짜리 sed 필터, 지어낸 API 엔드포인트, 존재하지 않는 명령을 참조하는 말 안 되는 파일 경로를 내면 그렇게 적음
      “찌꺼기”라는 말은 요즘 과하게 쓰이지만 내겐 딱 맞음. 무심한 관리자가 여물통에 던져 주고, 돼지들이 똥이 섞였든 말든 게걸스럽게 먹는 그런 찌꺼기임
    • 예전에는 이런 걸 Garbage In Garbage Out이라고도 불렀음

  • MBA에서 에세이를 쓰는 과정은 이랬음. 먼저 내가 이미 가진 견해 중 주제에 대해 말하고 싶은 바를 정하고, 그 입장을 뒷받침할 논문을 충분히 찾음. 논문은 읽지 않고 초록만 훑음. 그런 다음 에세이를 쓰고, 내 요점을 가장 잘 뒷받침하는 부분만 참고 논문에서 찾아 넣음
    이 과정에는 학습이 전혀 없었음. 에세이 작성은 주제 지식을 흡수하는 것보다 학술지 검색 기술을 기르는 일에 가까웠음. 어떤 관점이든 뒷받침할 논문은 충분히 있고, 요령은 그것들을 찾는 것이었음
    이 전체를 LLM에 맡겨 더 효율적으로 만든다고 해서 실제 교육이 어떻게 훼손되는지 잘 모르겠음

    • 주제에 대해 아무것도 모르는 상태에서 친구의 심리학 과제를 그대로 써 줬고, 그 친구는 HD를 받았음
      내가 한 일은 위에 적은 과정 그대로였음
      우리 어머니도 외국어 학생들을 위해 비슷한 일을 서비스로 했음. 학생들이 강의를 녹음해 오면 어머니가 그들의 리포트를 써 줬음
    • 솔직히 그건 당신 쪽 문제이기도 함. 어떤 주제든 과학적 방법을 틀로 삼으면 논문을 쓰는 것은 충분히 가능함
      다만 MBA 같은 많은 학위는 회사 내 승진이나 전환을 위한 형식에 가까움. 실제로 과학을 한다고 추가 보상을 받지 못함. 나도 MBA가 있고, 여러 수업에서 같은 방식을 여러 번 썼음. 겉모습과 말투가 충분히 그럴듯하면 점수를 받을 걸 알았기 때문임
      공정하게 말하면, 전문직에 들어가자마자 본 방식도 같았음. 가정을 뒷받침하는 증거와 데이터를 찾고, 없으면 비슷한 걸 찾아 해석과 표현으로 가정을 지지하게 만들면 됨
      멋진 가설 검정도, 가정이 틀렸다고 결론 내릴 필요도 없음. 어차피 그건 당신의 견해나 가정이 아닌 것처럼 취급되고, 상사나 고객이 틀렸다고 말한다고 보상받지도 않음
    • 왜 자료 자체와 씨름하지 않았는지, 혹은 무엇이 그것을 막았는지 궁금함
    • 그 논문들은 누가 썼나? 그들은 어떻게 쓰는 법을 배웠나?
      사슬 어딘가에서는 누군가가 실제로 독립적인 생각을 만들어 냈어야 함

  • AI가 내게 던지는 근본 질문은 이것인데, 아무도 답하지 않는 듯함
    경쟁적이고 이윤 중심인 세계에서 인간이라는 존재와 인간 경험의 가치는 무엇인가
    AI는 불가피하지도 필요하지도 않지만, 인간 삶의 가치를 “산출물”로 축소하는 다음 필연 단계처럼 보임

    • 누군가는 현실 세계를 경험하고 그것을 LLM 학습 데이터로 번역해야 함
      ChatGPT는 길모퉁이 카페에 바나나브레드가 있는지, 친구를 암으로 잃는 느낌이 어떤지 알 수 없음. 인간이 경험하고 적어 놓지 않으면 아무것도 말할 수 없음
      Good Will Hunting의 이 장면이 떠오름: https://www.imdb.com/de/title/tt0119217/quotes/?item=qt04081...
    • 접근 각도가 잘못됐다고 봄
      자본주의는 인간 자체에는 거의 관심이 없고, 인간 경험이 존재하는지 여부도 대체로 무관함. 자본주의가 아는 인간은 어떤 상황에서 얼마나 이윤을 낼 수 있는지 조절하는 시끄러운 손잡이 묶음에 불과함
      농담 섞인 표현이지만, 최후통첩 게임에 관한 이 SMBC 만화 [1]는 삶을 경제학 관점만으로 볼 때 생기는 역설의 예임
      질문은 “자본주의 아래 인간의 가치는 무엇인가?”가 아니라 “인간을 경제적 산출물로 축소하지 않으려면 어떻게 해야 하는가?”여야 함
      다른 말로 하면, 믹서기가 갈리는 대상의 고통을 신경 쓸 일은 아님. “믹서기 중심 세계에서 고통의 가치는 무엇인가?”라고 묻고 있다면, 잘못된 문제를 풀고 있는 것임
      [1] https://www.smbc-comics.com/?id=3507
    • 기업들이 가능하다고 생각하는 곳마다 “AI”로 직원을 대체하는 합리적 결정을 내릴까 봐 비슷하게 걱정됨. 여기서 가능하다는 건 AI가 일을 잘한다는 뜻과 같지 않음
      다만 이 흐름이 부딪힐 벽은 책임과 책무성이라고 봄. 낮은 위험의 많은 일은 실제 인간 노동을 “AI”로 대체하면서 더 나빠질 것임
      하지만 항공기 조종, 암 진단, 심장수술처럼 실수 비용이 큰 일에는 인간이 반드시 필요함. 적어도 책임 방패로라도 필요함
      종양 탐지 블랙박스를 만드는 회사는 실제 최전선 의료가 아니라 의사의 “효율”을 높이는 보조 도구가 되고 싶어 함. 도구가 실수하면 책임을 지고 싶어 하지 않고, 의사가 그 도구를 믿고 의견을 재확인하지 않은 탓으로 돌리고 싶어 함
      그래서 의료의 많은 “AI” 도구가 실제로 생산성을 낮춘다고 들었음. AI 의견을 재확인하는 것이 그냥 자기 머리로 생각하고 평가하는 것보다 더 많은 일이기 때문임
    • 인간의 가치는 이 시대에도 늘 그랬듯 진정한 독창성과 틀 밖에서 생각하는 능력에 있음
      그것이 인간을 실제로 꽤 똑똑하게 만들고, 현재 최첨단 “AI”를 실제로 꽤 멍청하게 만드는 지점임
      AI는 기본적으로 입력의 통계적 평균이 아닌 것을 만들어 낼 수 없음. AI Da Vinci, Einstein, Kant, Pythagoras, Tolstoy, Kubrick, Mozart, Gaudi, Buddha, 그리고 가장 아이러니하게도 Turing 같은 존재는 나오지 않을 것임
      이들은 각자 세계에 기여한 것이 세계가 그들에게 기여한 것의 합보다 큰 역사적 인간들임
    • 다른 누구에게도 통제받고 싶지 않다면 자신의 가치는 스스로 정해야 함
      스스로 정하고 싶지 않다면 AI가 대신 정하게 두는 것도 다른 무언가에 맡기는 것보다 딱히 더 나쁘지는 않을 것임. 종교가 더 편할 수는 있지만, 머지않아 AI와 종교도 섞일 것 같음
답변달기