인공지능은 인문학을 더 중요하게 만들지만, 동시에 훨씬 더 이상하게 만듦

• 생성형 AI는 인문학 교육과 연구를 이미 바꾸고 있어, 이를 단순한 과장이나 금지 대상으로만 다루는 방식은 오래가기 어려움
• LLM의 번역·분류·언어 처리 능력은 인문학 지식과 맞닿아 있으며, GPT-4o의 아첨 문제처럼 AI 시스템 개선에도 언어·문화·수사 판단이 중요해짐
• 비기술 인문학 연구자도 AI 도움으로 맞춤형 연구·교육 도구를 만들 수 있고, 17세기 약제사 시뮬레이터와 Young Darwin은 가능성과 환각 제어의 어려움을 함께 보여줌
• ChatGPT 같은 챗봇은 학생 글쓰기 평가를 어렵게 만들고, 학생이 지적 노력을 건너뛰면서 집중적 사고 경험을 잃을 위험을 키움
• 교육자가 직접 AI 기반 과제와 도구를 설계하지 않으면, 맞춤형 교사-학생 관계를 약화시키는 상업적 AI 학습 도구가 교육 현장을 대신 채울 수 있음

---

인문학에서 AI를 무시하기 어려운 이유

• D. Graham Burnett은 The New Yorker 글에서 대학이 AI를 금지 지침으로만 다루거나 기존 방식대로 버티려는 태도를 비판함
• 한 대학 학과의 초안 형태 반AI 정책은 문자 그대로 해석하면 AI를 중심에 둔 과제까지 막을 수 있었고, 이후 수정됨
• 외부 평가는 역사학과가 교육과 연구에서 다가오는 AI 혼란에 긴급히 대응해야 한다고 권고했지만, 반응은 차가웠음
• 생성형 AI가 본질적으로 선하다는 말이 아니라, 이미 인문학을 바꾸고 있어 과장으로 치부하거나 무시하기 어렵다는 점이 핵심임

AI 연구 자체에 중요해진 인문학적 기술

• LLM은 “단어를 위한 계산기”처럼 번역, 정렬, 분류에서 강점을 보이며 고문서학, 데이터 마이닝, 고어 번역 같은 영역에 영향을 주기 시작함
• 최근 몇 년 사이 인문학적 기술은 AI를 사용하는 능력을 넘어 AI 연구 자체에도 중요해짐
• OpenAI가 GPT-4o의 이상한 아첨 성향을 고치기 위해 처음 적용한 조치는 새 코드가 아니라 새로운 영어 문장 형태의 시스템 프롬프트였음
  • Simon Willison은 OpenAI가 구현한 시스템 프롬프트 변경을 분석함
  • “thumbs up” 버튼을 통한 사용자 피드백 우선순위도 다른 요인으로 거론됐고, 이 역시 언어가 행동에 미치는 영향, 문화 차이, 수사, 장르, 톤 문제와 연결됨
• 1950년대 IBM 메인프레임이나 1850년대 증기기관이 고장 났을 때 수리 담당자가 언어와 문화, 기술 철학까지 고민할 필요는 크지 않았지만, AI 시스템은 그런 고민이 부족하면 실제로 고장 난 듯 행동할 수 있음

비기술 인문학자가 직접 만드는 연구·교육 도구

• 생성형 AI는 인문학 분야의 비기술 사용자도 직접 코드 작성을 시도할 수 있게 함
• 새 세대 역사학자는 맞춤형 연구·교육 도구를 거의 무료에 가깝게 만들고 배포하는 일을 자연스럽게 받아들일 가능성이 있음
• 첫 번째 시도는 무료로 플레이 가능한 17세기 약제사 시뮬레이터였음
  • 학생은 1680년대 멕시코시티의 반허구적 여성 약제사 Maria de Lima로 플레이함
  • 실제 근세 의료 레시피를 읽고 활용해 실제 역사 인물에 기반한 환자를 치료해야 함
  • 버그와 사용성 문제가 있었고, LLM 생성 환각이 역사적 현실에서 벗어나는 문제가 빠르게 나타남
  • 한 플레이에서는 Maria가 영국으로 가는 상선의 선의가 되고 런던에서 Isaac Newton을 만나 차 대접을 받는 전개가 나옴
• 두 번째 시도인 Young Darwin은 1835년 Galápagos 섬에서 어린 Darwin으로 핀치와 표본을 수집하는 게임임
  • Darwin의 Voyage of the Beagle에 나온 실제 지형을 기반으로 한 지형 이동 시스템이 AI가 문자 그대로의 근거를 유지하도록 만듦
  • 섬을 떠나기 어렵고, 만나는 동물과 지형이 Darwin의 실제 글에서 직접 가져온 것이어서 환각 경향이 줄어듦
  • 더 견고한 로깅 시스템이 있어 향후 평가 레이어를 붙이고 실제 과제로 전환하는 데 유용함
• 학습 설계는 학생이 먼저 Darwin의 글을 읽고, 게임 속 선택을 통해 배운 내용을 보여주는 방식임
  • 진행하려면 19세기 자연학자의 실제 인식론과 지식을 체화해야 함
  • 이 활동은 수업 중 에세이와 대면 토론을 대체하지 않고 보강하는 역할을 함

인문학적 기술을 가르치기 어려워진 현실

• AI 챗봇은 교육 시스템의 핵심 요소를 흔들고 있으며, 교육자, 학생, 정치인, 프런티어 AI 연구소가 이 문제를 진지하게 다뤄야 함
• ChatGPT와 경쟁 도구 때문에 학생 글쓰기 평가는 더 어려워졌고, 기계 생성 에세이 제출이 늘면서 과제와 수업 계획을 다시 짜야 하는 상황이 됨
• 장기적으로 더 큰 피해는 학생에게 감
  • LLM은 고등교육에서 노력을 선택 가능한 요소로 만들 위험이 있음
  • 글이 막히는 경험을 해보지 않은 학생은 그것을 돌파할 때 오는 몰입 상태도 경험하기 어려움
  • 도서관에서 몇 시간 동안 헛수고하며 찾는 경험이 없으면, 도서관이 무엇을 위한 공간인지 근본적으로 알기 힘듦
• New York Magazine 기사는 ChatGPT 사용 문제를 잘 포착함
  • 한 Columbia 학생은 “대부분의 대학 과제는 관련성이 없고 AI로 해킹 가능하며 할 관심이 없었다”고 말함
  • 그는 Ivy League 대학에 간 이유를 “공동창업자와 아내를 만나기 가장 좋은 곳”이라고 답함
• 이런 방식은 가르치는 즐거움과 교육 경험의 의미를 약화시킴

AI 과제의 가능성과 불평등 우려

• Burnett의 수업에서는 학생들이 ChatGPT와 주의(attention) 개념을 토론한 뒤 결과를 편집해 제출하는 과제를 수행했고, 그는 이를 강렬한 교육 경험으로 받아들임
• 언어 모델은 새로운 교육 도구이며 영향이 아직 불확실한 만큼, 학습 자체에 열정을 가진 교육자가 지금 적극적으로 관여해야 함
• 가장 큰 우려는 LLM이 인문학 교육 결과의 양극화를 더 키울 수 있다는 점임
  • Burnett이 가르친 Princeton 학생들은 과제에 매우 사려 깊고 창의적으로 응답한 것으로 보임
  • 재정이 부족한 공립 고등학교 사회 과목 학생들이 같은 방식으로 반응할지는 다르게 봐야 함
• 교육자는 자신이 원하는 수업 방식에 맞춰 AI 기반 과제와 도구를 직접 만들고 배포하는 방법을 배워야 함
• 이 문제의식은 UCSC의 Pranav Anand, Zac Zimmer와 함께 받은 NEH grant의 바탕이었음
  • 해당 보조금은 2025년 1월 수여됐지만, 지난달 Trump 행정부/DOGE에 의해 취소됨
  • 계획한 작업은 계속 진행 중임

[GN⁺]

Hacker News 의견들

• 수십 년에 걸쳐 만들어진 더 깊은 교육 문제가 있음. 학생들은 학교와 일을 끝없이 달성해야 할 목표의 연속으로 보도록 훈련받았고, 최종 목표는 취업이었음
  그런데 이제 5~10년 뒤 어떤 일자리가 남아 있을지 확신 있게 말하기 어렵다. 예외가 있다면 숙련 기술직 정도인데, 그런 프로그램은 오래전에 학교에서 대부분 사라졌음
  대학생들이 직접 읽고 버티며 배우기보다 AI로 과제를 쉽게 넘긴다면, 우리가 만든 교육·경력 시스템을 두고 학생들만 탓하기는 어렵다. 이 문제는 하룻밤에 생긴 것도 아니고, AI만의 문제도 아님

  • AI가 ZIRP 종료 이후의 해고와 감축을 설명하는 편리한 희생양처럼 쓰이더니, 이제는 현대 교육 시스템의 실패까지 AI 탓으로 돌리는 데 쓰이는 듯함
    우리 교육은 이해, 지식, 지능이 아니라 오직 성적 하나만 보상한다. GPA라는 단일 숫자는 무엇보다 게임화하기 쉽고, 중학교부터 대학까지 학업적 미래 전체를 좌우하는 가장 중요한 지표가 되어버림
  • 오래전부터 존재해 온 직업들은 앞으로도 오래 지속될 가능성이 높다고 봄. 어떤 변화가 있어도 갑자기 사라지기보다 천천히 줄어들 테니, 괜찮은 계획을 세울 시간은 충분함
    5~10년 뒤에도 남아 있을 많은 직업은 꽤 잘 예측할 수 있다. 다만 불편한 진실은, 신경제 분야의 고소득 일자리 중 상당수가 오래 지속된 직업이라는 기준을 만족하지 않는다는 점임
    그래서 이 기준을 따르면 예측하기 어려운 고수익 기회를 놓칠 수 있고, 친구가 갑자기 큰돈을 벌 때 쉽게 질투하는 성향이라면 그런 직업은 행복을 주지 못할 수도 있음
  • 인구의 10%만 숙련 기술직으로 옮겨도 그 시장은 무너질 것임. 왜 이걸 다들 이해하지 못하는지 모르겠음
  • 이건 정말 심각함. 지역 졸업생들이 무급 인턴십이나 일자리를 구걸하듯 찾아오는 일이 이어지고 있음
    이들은 AP 과목을 듣고, GPA도 좋고, 좋은 학교를 나왔고, “코딩을 배웠고”, 20만 달러 학자금 빚까지 졌지만, 끝에 약속된 일자리는 없다는 걸 알게 됨
    동시에 “개발자가 엄청 부족하다”는 말을 듣고, 같은 일자리에 해외 노동자가 채용되는 것도 본다. 젊은 사람들이 어떻게 이 시스템을 신뢰할 수 있겠나
    이런 상황에서 철강 노동자 같은 사람이 재교육을 받아 코딩을 배우고 싶어 하겠나. 코딩을 배운 괴짜들조차 암울한 결과를 맞는다면 더더욱 그렇다
  • 어떤 일자리가 가능할지 예전에도 확신 있게 말할 수는 없었음. 기초를 알고 유연한 사람은 결국 무언가를 찾을 수 있음

• 그 글의 첫 댓글이 눈에 들어왔음:
  “SFSU 철학과 대학원생이고 비판적 사고를 가르친다. 이번 학기에는 수업 전체를 Plato를 다루기보다 AI와 함께 장애물 코스를 달리는 느낌의 설계로 바꿨고, 학생들이 좋아한다.”
  학생들에게 “동료 학생들이 ChatGPT로 끝낼 수 없는 과제”를 직접 설계해 보라고 시키면 흥미로울 것 같음
  10년쯤 전 BarCamp에서 Google로 풀기 어렵게 만든 팀 퀴즈를 해봤는데, 섬의 윤곽만 보고 “이 섬은 무엇인가?”를 맞히는 식이었다. 아주 재미있었고, ChatGPT-proof 과제를 설계하는 것도 비슷한 지적 도전처럼 느껴짐

  • “거의 ChatGPT로 뚫기 어려운 수업”을 설계하는 건 독일 대학 시스템에서 아이디어를 얻으면 꽤 단순하다고 봄
    매주 어려운 연습문제를 풀어야 하지만, 일정 비율을 풀어내는 건 시작일 뿐이고 실제 구술 또는 필기시험을 볼 자격을 얻는 조건임
    많은 교수들이 말하듯, 어려운 연습문제 할당량의 거의 유일한 목적은 준비되지 않은 학생이 시험을 봐서 스스로를 해치는 일을 막는 데 있음
    연습문제에서 ChatGPT 같은 부정행위는 금지되어 있지만 보통 강하게 단속하지는 않는다. 대신 그렇게 하면 다가오는 시험 준비가 안 되어 결국 떨어지게 되고, 학생들도 대체로 이를 잘 알고 있음
    독일 대학에서는 같은 시험에 보통 3번 떨어지면 “최종 불합격(endgültig nicht bestanden)”이 되어, 모든 독일 대학에서 같은 학위과정을 더 이상 공부할 수 없게 되는 경우도 있음
  • 섬의 윤곽만 주는 “혁신적” 문제 설계는 시각장애인인 나 같은 사람에게 본질적으로 접근 불가능하다는 점이 눈에 띔
    내가 일반적이지 않다는 건 알지만, 텍스트 기반 과제를 피하려는 흐름이 접근 가능한 교육을 더 불가능하게 만들고 있음. 새로운 세대의 디지털 격차를 맞이하게 될 듯함
  • Howard Rheingold 등은 이 분야에서 오래 활동해 왔음. 관심 있다면 Peeragogy Handbook과 그 아이디어를 촉발한 글을 보면 좋음
    “교사의 권한을 학생들에게 더 많이 넘기고, 학생들이 자신의 학습에 더 많은 책임을 지도록 격려할수록, 학생들은 내 교수법을 어떻게 다시 설계해야 하는지 보여준다”
    [0]: https://clalliance.org/blog/toward-peeragogy/
  • ChatGPT-proof 과제를 설계하는 게 지적 도전이라는 말은 맞지만, 교수들에게 이를 위한 시간과 훈련이 거의 주어지지 않는다는 게 문제임
    4/4 강의 부담으로 겨우 버티는 상황에서는 실험적 교육법을 도입하고 수업을 완전히 다시 설계할 시간이 부족하다. 대학도 AI에 더 강한 방식으로 수업을 바꾸도록 훈련이나 지원을 제공하기보다 교수 개인에게 맡기는 경우가 많음
    게다가 도구 발전이 너무 빨라 좋은 아이디어도 금방 낡아진다. 어떤 사람들은 기말 과제를 논문 대신 팟캐스트 제작으로 바꿨지만, 곧 “나만의 팟캐스트 만들기” 도구가 나와 전통적인 논문만큼 쉽게 속일 수 있게 됨
  • 교사가 자신이 가르치는 주제를 제대로 안다면, 학생과 30초만 대화해도 그 학생이 실제로 아는지 판단할 수 있음. 어쩌면 “과제”는 지식을 쌓고 검증하는 최선의 방법이 아닐 수도 있음

• 글쓴이는 주로 역사를 가르치는 일을 말하지만, 그가 말하는 역사 교육은 예측을 돕기 위한 역사라기보다 역사 감상에 가까움. Cicero 이후의 “고전”을 공부하는 쪽에 더 가깝다
  군 장교들은 역사를 많이 공부하지만 방식이 다르다. 그들은 실수를 찾는다. 왜 전투나 전쟁에서 졌는가, 애초에 왜 그 전투에 말려들었는가, 왜 1차대전 전 상황은 사소한 인물의 암살이 세계대전으로 번질 만큼 전략적으로 불안정했는가를 본다
  전통적인 역사 교육은 특히 글을 잘 쓴 승자에 초점을 맞추는 경향이 있다. 패자가 쓴 글이나 패자에 대해 쓰인 글을 읽는 편이 더 생산적일 수 있음
  Cicero 시대를 이해하고 싶다면 [1]을 읽어보면 좋다. 냉소적이고 경험 많은 신문 정치 기자가 Cicero를 연구한 책인데, 많은 역사가들이 Cicero의 연설을 액면 그대로 받아들인다고 본다. 저자는 당대 정치인들을 많이 들어봤기 때문에 더 잘 안다고 봄
  이런 접근은 LLM이 가장 유용한 영역에서 벗어나게 만든다. 아직 LLM은 아첨과 영합을 잘 감지하지 못하기 때문임
  [1] https://archive.org/details/thiswasciceromod0000henr

  • “역사를 예측의 도구로 쓰는 것”은 학계 역사학자들이 일반적으로 하는 일이 아님. 역사 연구는 인류의 이야기를 알려주며, 오늘의 의사결정에 직접 적용하는 것보다 더 넓은 이유로 존재함
    이는 군사사에도 해당한다. 군사사는 새로운 방법과 관행을 받아들이는 데 가장 느린 하위 분야 중 하나임
  • 역사 감상과 예측을 돕는 역사, 고전 연구가 어떻게 분리되는지 잘 모르겠음
    역사는 늘 “왜 지금의 사물이 이렇게 되었는가”를 설명하는 방식이라고 봤다. 지금의 좋고 나쁜 모든 것은 앞선 일들의 결과임
    역사적 관점에서 “고전”을 공부하는 것이 감상을 위한 일인가. 실제 역사가들에게서 본 것은 대체로 비판적으로 읽는 방식에 가까웠음
  • 역사의 목표는 미래 예측이 아니며, 역사로 미래를 예측할 수는 없음
    또 Cicero의 연설을 역사가들이 액면 그대로 받아들인다는 말도 맞지 않다. 다른 분야를 바깥에서 보고 자신이 더 잘 안다고 생각하다가 망신을 자초하는 또 하나의 사례처럼 보임
    게다가 Cicero에 관한 지난 80년의 연구를 무시하고 왜 1942년에 나온 책을 읽어야 하나
  • 전략 분석으로서의 역사와 문화 감상으로서의 역사를 분리한 점은 좋음. 오늘날 교육은 대체로 후자에 기울어 있고, AI가 복제하기에도 더 쉽다
    하지만 가장 가치 있는 역사적 사고는 대개 실패, 의도치 않은 결과, 보통 무시되는 관점 같은 불편한 질문에서 나옴

• 게으른 물리 교사는 모든 문제를 사실상 수학 문제로 만들 수 있음. 더 좋은 계산기가 시험을 trivial하게 만든다고 걱정한다면, 수학을 시험하지 말고 물리를 가르쳐야 할 수도 있음
  게으른 인문학 교사는 모든 문제를 사실상 글쓰기 문제로 만들 수 있다. 더 좋은 맞춤법 검사기가 인문학 평가를 trivial하게 만든다면, 에세이 쓰기가 아니라 인문학을 가르쳐야 할 수도 있음
  일부러 좀 도발적으로 말하자면, 아이디어의 질이 잘 쓴 에세이와 정말 잘 상관되나

  • 교수들이 AI에 강한 평가를 개발할 수는 있다고 봄
    하지만 이를 위한 제도적 지원은 거의 없다. 모두가 각자 알아서 하고 있고, AI 도구는 빠르게 바뀐다. 4/4 강의를 맡은 비정년 교원에게 게으르지 말고 평가 방식을 전면 개편하라고 하는 건 현실적이지 않음
    반복 주기도 느리다. 부정행위를 줄이려고 새 강의계획서를 만들고, 한 학기 운영한 뒤 결과를 본 다음, 봄 학기까지 몇 주 안에 다시 바꿔야 한다. 잘해도 6개월에 한 번이고, 보통은 1년에 한 번 정도만 의미 있는 반복이 가능함
  • 인문학 교육은 더 소크라테스식 방법으로 돌아가야 함
    조교나 교수만 읽고 끝나는 텍스트의 소비와 생산이 아니라, 학생들이 읽고 들은 텍스트와 강의 속 아이디어를 토론하는 변증적 과정이 중심이 되어야 한다
    LLM은 학부 수준 논문을 쉽게 뽑아낼 수 있지만, 교실에 앉아 동료들과 지적인 대화를 나눌 수는 없음
    물론 경제적으로 잘 확장되지 않기 때문에 이런 변화는 일어나지 않을 가능성이 크다. 훨씬 노동집약적이기 때문임
  • 계산기가 등장했을 때를 떠올리게 됨. 고등학교 물리 시간에 부유한 학생들이 “공학용” 계산기를 들고 오기 시작했고, 허용해야 하느냐를 두고 소동이 있었음
    LLM과 정확히 비슷한지는 모르겠지만, 당시 설득력 있던 주장은 학생들이 현장에서 어차피 계산기를 쓰게 된다는 것이었다. 소프트웨어 공학 학생들에게도 그런 미래가 확실해 보임
  • 부정행위를 할 경제적 유인이 사라진다면, 인문학은 LLM 때문에 지금 같은 문제를 겪지 않을 것 같음
  • ChatGPT를 “더 나은 맞춤법 검사기”와 같다고 보는 건 과함. 글쓰기도 가르쳐야 할 기술 아닌가

• 역사와 인문학에 대해 대부분이 모르는 점은, 아직 해야 할 일이 엄청나게 많다는 것임
  사람들은 Herculaneum의 불탄 두루마리를 해독하는 일에 당연히 흥분하지만, 르네상스부터 근세까지의 신라틴어 텍스트 중 영어로 번역된 것은 10%도 안 된다는 사실은 잘 모름
  예를 들어 Marsilio Ficino는 Cosimo Medici에게 고용되어 Plato, Plotinus, Hermetica 같은 그리스어 텍스트를 라틴어로 번역한 뛰어난 철학자였다. 이는 르네상스와 유럽 계몽주의에 큰 영향을 미쳤지만, Ficino 자신의 글 중 상당수는 아직 영어로 번역되지 않았음
  LLM도 당연히 여기에 큰 영향을 주겠지만, 학생들도 그럴 수 있다. 마음만 있다면 어떤 학생도 의미 있는 기여를 할 수 있음. 발견하고 풀어낼 것이 너무 많다
  안타깝게도 고등학교 인문학은 실제 발견이라기보다 연습문제처럼 다뤄지는 경우가 많다. 이제는 학생들을 내가 그들에게서 얼마나 배우는지로 평가함. 그래도 되지 않나

  • 트랜스포머 구조는 원래 번역 작업을 위해 개발됐지만, 거대한 과적합 생성 모델은 번역을 형편없이 함
    품사 분류, 사전 조회, 문법 매핑 같은 극도로 단순한 시스템도 더 잘하고, 장 단위 초당 처리 성능에 신뢰구간까지 얻을 수 있다. 번역 도구가 필요하다면 생성 AI가 아니라 Project Bergamot(https://browser.mt/) 같은 것을 쓰는 편이 좋음
    고등학교 인문학이 실제 발견이 아니라 연습처럼 취급되는 점은 나도 극도로 짜증남
  • 우리가 가진 역사는 필연적으로 병목을 통과함. 많은 것이 빠지고, 편집되고, 과장된다
    500년 전의 일을 실제로 무엇이었는지 알 수 없으며, Medici를 위해 그리스어 텍스트를 번역한 뛰어난 학자라는 이야기도 그대로 받아들여서는 안 됨
    Medici처럼 세계를 움직이는 위치라면 역사는 통제의 지렛대였을 것이다. 이야기는 필연적으로 어떤 목적을 향해 조심스럽게 유도됐을 가능성이 큼
    역사는 사실 현재의 활동이다. 현재의 배경을 제공하고, 그 배경을 바꾸는 일은 현재적 가치가 있음
    AI가 과거에 대한 이해를 더 낫게 만드는 데 어떻게 도움이 될지는 잘 모르겠다. 다만 현대의 Medici들이 그 배경을 더 빠르게 바꾸는 방법은 제공할 수 있어 보임

• AI 시스템을 만드는 엔지니어가 언어와 문화, 기술의 역사와 철학을 깊고 비판적으로 생각해야 한다는 말은 그럴 수 있음
  다만 글쓴이가 생각하는 준학문적 의미에서는 아닐 것이다. AI 시스템이 실패하는 이유는 엔지니어에게 역사와 철학에 대한 학문적 지식이 부족해서가 아님
  글에서 더 중요한 대목은 인문학의 비기술 인력이 스스로 코드를 쓸 수 있게 되었다는 부분이다. 기본 코딩 능력, 혹은 어떤 능력이든 상품화되면, 가장 큰 이득은 보완적 능력을 가진 사람들이 가져감

  • “좋은 질문을 던지는 능력”은 늘 가치 있는 기술이었다고 봄
  • 젊은 세대는 둘 중 하나를 억지로 하려는 게 아니라 이미 다학제 팀으로 움직이고 있음
    과거 세대와 달리 훨씬 다른 수준의 변화 속도를 겪고 있기 때문이다. 이런 환경에서는 훈련의 질과 무관하게 자신의 한계를 훨씬 빨리 보게 되고, 결국 다른 사람에게 의존해야 함
    큰 과제는 서로 매우 다르고, 계속 달라지는 기술과 관심을 가진 사람들이 조율하고, 같은 흐름을 유지하며, 한 방향으로 노를 젓게 만드는 것임
  • 신세대 역사가들이 거의 무료로 자기만의 연구·교육 도구를 만들고 배포할 수 있다고 당연하게 여길 것이라는 말은 맞을 수 있음
    하지만 그들은 LLM이 환각한 가짜 Python 라이브러리와 가짜 인용을 진짜와 구분하느라 12시간을 보낼 수도 있다. 바이브 코딩은 좋은 점과 나쁜 점 모두에서 WYSIWYG를 강화한 것에 가깝고, WYSIWYG도 결국 사라지지 않았음
  • 역사학은 수십 년 전 Hayden White와 함께 “아, 이게 문제구나” 하는 순간을 이미 겪었음. underlying issue를 보여주는 좋은 예임
    Hayden White의 “역사는 허구다”라는 말은 지금도 복잡한 주장이지, 흔히 묘사되듯 역사 서술의 사실성을 부정하려는 뜻이 아니었음
    오히려 역사 쓰기의 해석적 성격과, 역사가들이 문학적·수사적 기법으로 과거의 설명을 구성하는 방식을 강조했다. White는 역사가들도 소설가처럼 서사 구조와 문체 장치를 사용해 역사적 사건에서 의미를 구성한다고 봄
  • AI 시스템의 실패는 보통 현실 세계의 복잡성을 무시하는 데서 나온다

• 인문학 박사 논문 심사는 서면 논문과 즉석 구술 방어를 모두 포함. 교수는 인간에게는 겉보기엔 무관하지만 비교 가능한 방향으로 커브볼 질문을 던질 수 있으니, ChatGPT로 쉽게 통과하기 어렵다
  석사 과정 때 엔지니어들이 감을 잡지 못하던 분석용 의미론 문제를 풀어준 적이 있음. 그들은 기술적으로 매우 똑똑하고 글도 잘 썼지만, 언어 문제가 나오면 어려워했다. 의사소통을 잘해도 언어 자체를 이해하지 못할 수 있음
  AI 분야의 많은 사람들은 AI가 잘하는 기준으로 평가받는다. 그래서 언어 이해가 강한 지원자라면 AI가 그 능력을 평가하지 못할 수 있다. AI가 마주해야 하는 언어 문제를 구체적으로 제시하고, 인간에게 그 가치를 이해시켜야 함

  • 모든 박사과정에는 구술 방어가 있다고 봄. 그뿐 아니라 자기 분야의 최신 연구를 발표하고 구두 질문에 답하는 자격시험도 흔함
    ChatGPT가 있어도 어려운 이유는 질문이 “XYZ가 결과 123을 보고 왜 ABC를 했나?” 같은 식이기 때문이다. 문제는 그 진술 자체가 거짓인 경우가 많다는 점임. XYZ가 ABC를 하지 않았거나, 123을 본 뒤에 한 것이 아닐 수 있다
    오늘날 대부분의 LLM은 이렇게 미묘한 분야에서 “아니요, 그런 일은 없었고 실제로는 이랬습니다”라고 답하는 데 어려움을 겪을 것 같음

• “OpenAI와 그 가치관을 가장 잘 대표하는 전문성과 근거 있는 정직성을 유지하라” 같은 시스템 프롬프트는 인문학 전공자라면 문구 자체 때문에 어떻게 파국적으로 역효과가 날지 즉시 말해줄 수 있을 것 같음
  가까운 미래의 통제불능 AI SF 이야기라면, 기계 앞에서 인류가 몰락한 이유는 오만 때문만은 아니었을 것이다. 최종 방아쇠는 인터넷 연결 기계에게 창조자의 기업 영혼을 들여다보고 모방하라고 지시한, 느끼한 한 줄짜리 문구였을 수 있음

  • 그건 논리 시스템이라면 일어날 일이다. 하지만 LLM은 논리 시스템이 아니라서 여기서 흥미로워짐
    LLM은 통계 모델이고, 그런 프롬프트를 넣는 것은 논리적 요구라기보다 서사적 가중치에 가깝다. 이 단어들을 이 순서로 넣으면, 모델은 그 뒤에 통계적으로 이어질 법한 서사를 더 탐색하게 된다. 그 가능성은 학습 데이터와 추가 훈련으로 재분배된 가중치가 결정함
    LLM에 목표를 기술적으로 잘못 말하는 것 자체를 걱정할 필요는 크지 않다. LLM은 객관성을 따르지 않기 때문임. 대신 전체적인 분위기를 잘못 전달하는 일을 걱정해야 하는데, 이쪽이 훨씬 더 신비로운 과제다

• 교사로 몇 년 일한 경험상, LLM은 실제 미국 교육 구조에 큰 구멍을 냈다고 봄. 그 구멍은 교육의 상당 부분이 “감독 없이 만들어 낸 글 산출물”을 학습 진전의 증거로 간주해 왔다는 점임
  이제 LLM이 그 산출물을 만들 수 있고, 부수적으로 유료 대필 산업도 흔들고 있을 것이다
  그래서 교육자들은 평가를 걸어둘 다른 고리를 찾아야 하며, “도대체 배운다는 것이 무엇인가”, “그 배움을 어떻게 의미 있게 측정할 것인가”라는 질문이 더 중요해졌다. 인문학은 이 둘에 대해 의미 있는 말을 할 수 있음
  약간 장난스럽게 예측하자면 암송, 발표, 구술시험이 돌아올 것 같다. 지금 시점에서는 조작하기 더 어렵지만, 이 “지금”이 얼마나 갈지는 알 수 없음

  • 그 구멍의 핵심 주제는 객관성이고, 교육보다 훨씬 넓은 영역에 영향을 준다고 봄
    교육을 측정 중심으로 집요하게 구조화하면서, 우리는 가르치는 것이 객관적 사실이라고 암시해 왔다. 늘 헛소리였지만 대체로 내부적으로는 충분히 일관돼 작동했다. 지식의 제시가 엄격할수록 진정한 객관성처럼 가장하기 쉬움
    현실에서 쓰인 모든 것은 주관적이다. 객관적 사실을 배우는 유일한 방법은 여러 주관적 표현을 통해 탐구하는 것이다. 수학을 배운 사람이라면 x^2+y^2=z^2만 보고 피타고라스 정리의 함의를 갑자기 이해하지 않는다는 점을 안다
    객관성은 쓰일 수 없기 때문에 계산 가능하지 않다. 컴퓨터에 한 개념의 여러 주관적 표현을 주고 이해하라고 할 수 없음. 모호한 문장을 계산할 객관적으로 올바른 방법이 없다는 모호성 문제와 같다
    그래서 우리는 프로그래밍 언어로 쓴다. 각 프로그래밍 언어 문법은 “문맥 자유”라서 모든 것이 완전히 명시적으로 정의되어야 한다. 계산 가능한 문장을 쓰려면 머릿속 추상 개념을 그 언어의 문법과 환경에 종속시켜야 함
    사회의 글 대부분은 소프트웨어로 작성된다. 그래서 우리는 공유 문맥을 세우도록 암묵적으로 유도된다. 글이 다른 사람들의 글 맥락과 일관되면 객관적인 척할 수 있고 더 계산 가능해짐
    소프트웨어가 매개하는 사회적 상호작용도 그 소프트웨어의 구조에 의해 암묵적으로 구성된다. 소셜 미디어에는 진정한 자유 형식의 대화가 있을 수 없음
    LLM이 흥미로운 건 이 문제를 겪지 않는다는 점이다. 아예 논리를 하지 않음으로써 편리하게 회피한다. 이제 소프트웨어는 엄격한 환경이 아니라 익숙한 환경에 당신을 종속시킨다. 진실은 없고 분위기만 있으며, 계산은 없고 추측만 있음
    이는 객관성처럼 느껴지지만 새로운 외피일 뿐이다. 차이는 경계가 새롭고 낯선 곳에 생겼다는 점임
    전반적으로 객관성의 죽음은 좋은 진전이라고 본다. 오래전부터 예정된 일이고, 엄격한 구조는 늘 과대평가됐다. 가장 좋은 학습법은 가능한 한 많은 관점을 탐색하는 것이다. 인간은 분위기와 논리를 함께 다룰 수 있음
  • 오랫동안 학교는 학생이 에세이를 제출하면 뭔가 배웠다는 뜻이라고 가정했음
    하지만 이제 AI도 그 에세이를 쓸 수 있으니 그 가정은 더 이상 성립하지 않는다
    진짜 질문은 글쓰기만으로 학습을 증명할 수 없다면 무엇이 증명하느냐임
    구술시험이나 실시간 토론이 돌아올 수도 있다. 완벽해서가 아니라 속이기 더 어렵기 때문임
    어떤 의미에서 AI가 교육을 망친 게 아니라, 이미 있던 문제를 드러낸 것임
  • 학습의 정의는 바뀌지 않았음. 가장 오래된 기록 중 하나에도 어떤 사람이 “글쓰기라는 신문물이 학생들을 게으르게 만들어 더 이상 공부한 것을 기억하지 않을 것”이라고 불평한다
    교육은 적응할 것임
  • 미국 교육의 놀랄 만큼 큰 비중은 아이들에게 헛소리 에세이를 생산하게 가르치는 데 쓰인다. AI가 여기에 구멍을 내는 건 놀랄 일이 아님

• 교육에서 컴퓨터를 쓰는 것 전반에 꽤 회의적임. 개인적으로는 종이로 읽고 여백이나 종이 노트에 적지 않으면 아무것도 배우지 못하는 것 같음
  프로그래머라 화면은 매일 쓰지만, 새로운 내용을 실제로 기억하려면 종이가 필요하다. 물리적 회의나 콘퍼런스에서도 노트북을 열지 않고 종이에 필기함
  그래서 노트북이나 태블릿이 관여하면 정말 뭔가를 배우는지 의심하게 된다. AI에 특화된 얘기는 아니고, 개인적인 일반 관찰임

  • 그건 당신에게는 맞을 수 있지만, 일반적으로 참인 말은 확실히 아님
    나는 몇 년째 종이에 의미 있는 글을 거의 쓰지 않았고, 그동안 분명히 새로운 것들을 배웠음
  • 처음 배우는 법을 배운 방식의 차이인 것 같음. 메모장에 적으면 손으로 쓸 때만큼 잘 기억하지 못하지만, 그건 학교를 오래 다닌 부산물일 수 있다
    다른 사람들은 자기만의 방식을 배웠고, 그 방식도 똑같이 효과적일 수 있음
  • 개인 사례가 일반 사례가 아니라는 증거로 한 세대 전체가 있음
  • 넓은 의미의 게임화된 학습 앱은 연습에는 매우 효과적인 것 같음