Brown 시험서 대규모 AI 부정행위 고발한 교수

 (english.elpais.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Brown University의 고급 수리경제학 과목 ECON 1170에서 3월 중간고사 중 최소 50명이 AI로 부정행위를 했다는 의혹이 제기되며 학업 신뢰 문제가 커짐
  • 시험은 take-home 폐쇄형 방식이었고, 일부 답안에서 ChatGPT에 문제를 넣었을 때와 일치하는 비정상적인 대목이 발견됨
  • 중간고사 평균은 96점, 만점자는 40명이었지만 대면 기말고사로 바꾸자 평균은 48점으로 떨어지고 89명 중 59명만 출석함
  • Roberto Serrano는 대학의 대응이 충분하지 않다고 보고, 다음 학년부터 주간 과제를 성적에 반영하지 않고 take-home 시험도 중단하기로 함
  • Princeton도 1893년부터 이어진 Honor Code 기반 무감독 시험 관행을 끝내며, AI가 미국 엘리트 대학의 오래된 평가 방식을 바꾸고 있음

Brown ECON 1170에서 벌어진 AI 부정행위 의혹

  • Roberto Serrano는 Brown University의 Harrison S. Kravis University Professor of Economics이며, 고급 학부 수리경제학 과목 ECON 1170을 가르침
  • 3월 중간고사에서 최소 50명이 부정행위를 했다는 결정적 증거가 있다고 밝힘
  • 그는 이번 사건을 Brown과 Ivy League 전체에서 알려진 가장 큰 부정행위 스캔들로 봄
    • Ivy League에는 Princeton, Harvard, Yale, Columbia, Cornell, Dartmouth College, University of Pennsylvania 등이 포함됨
  • Brown 고위 관계자에게 사건을 보고했지만, 대학 측 반응은 충분하지 않았다고 말함
    • 총장은 침묵했고, 학장은 Academic Code Committee로 사건이 넘어간 뒤에야 “wake-up call”이라는 취지의 메모를 보냄
  • Serrano는 “Academic integrity is a value worth defending”라고 말하며, 고등교육의 미래를 지키려면 문제의 심각성을 공개적으로 인정하고 폭넓은 논의를 시작해야 한다고 봄

시험 방식과 비정상적으로 높은 성적

  • 이번 학기 중간고사와 기말고사는 모두 take-home, closed-book 방식으로 계획돼 있었음
    • Ivy League에는 이런 방식의 시험 전통이 일부 남아 있음
    • 학생에게 거의 제한 없는 시간을 주기 때문에, 평소보다 더 어려운 문제로 학생의 한계를 볼 수 있는 방식이라고 Serrano는 설명함
  • 시험은 수업에서 다룬 모형의 가정을 일부 바꾸고, 새로운 가정 아래 특정 명제가 참인지 거짓인지 증명하게 하는 형태였음
  • ECON 1170은 보통 수강생이 적고 우수한 학생들이 듣는 어려운 과목임
    • 과거 수강생은 한 번에 30명을 넘은 적이 없고, 어떤 때는 8명뿐이었음
    • 이번 학기에는 새 평가 방식 때문일 가능성이 있는 이유로 86명이 수강 신청함
  • 3월 5일 시행된 중간고사 결과는 이례적으로 높았음
    • 평균 점수는 100점 만점에 96점
    • 40명이 만점
    • 채점자들은 여러 불규칙성을 발견했고, 일부 답안에는 문제를 ChatGPT에 넣어 얻은 결과와 일치하는 비정상적인 대목이 있었음

대면 기말고사 이후 드러난 격차

  • Serrano는 중간고사를 무효 처리하지 않았지만, 최종 성적의 50%를 차지하는 기말고사는 대면 시험으로 치르겠다고 학생들에게 알림
  • 기말고사 점수 분포가 중간고사와 비슷하지 않으면 기말고사만 성적에 반영하겠다고도 공지함
  • 대면 기말고사 결과는 중간고사와 크게 달랐음
    • 평균 점수는 100점 만점에 48점으로 하락
    • 중간고사 응시자 89명 중 59명만 기말고사에 출석
    • 기말고사에 오지 않은 27명 중 22명은 중간고사에서 만점을 받았음
    • 평균 점수 비교: {b:96,48}
  • Serrano는 “부정행위에 대한 경험적 증거가 압도적”이라고 말함
  • 다음 학년부터 평가 방식을 바꾸기로 함
    • 주간 과제는 AI로 수행할 수 있으므로 최종 성적에 반영하지 않음
    • 아무리 적합해 보여도 take-home 시험은 더 이상 실시하지 않음

캠퍼스 총격 사건이 시험 방식에 미친 영향

  • Brown University에서는 전년도 12월 13일 총격 사건이 발생함
    • 48세 전 박사과정 학생 Neves Valentes가 캠퍼스에 총을 들고 나타나 발포함
    • 2명이 사망하고 9명이 다쳤으며, 일부는 중상이었음
  • 총격은 Introduction to Economics 기말고사 대비 질의응답 세션이 진행되던 교실에서 발생함
    • 이 세션은 Serrano의 동료 Rachel Friedberg가 이끌고 있었음
    • 부상자 9명 중 2명은 Serrano의 수업을 듣는 학생이었고, 몇 주간 생사를 다투다 살아남음
  • 사망자 중 한 명인 Ella Cook은 사건이 일어난 같은 주 Serrano의 사무실을 찾아온 학생이었음
    • 그녀는 다음 학기 Intermediate Microeconomics 수강 계획과 경제학·수학 공동 전공의 진로 조언을 요청함
  • Serrano는 총격 이후 정신적으로 매우 힘든 시간을 보냈고, 사건 한 달여 뒤 시작되는 학기에서 학생들의 부담을 덜기 위해 시험을 take-home 방식으로 바꾸기로 했음
    • 많은 학생이 12월 사건 이후 캠퍼스에서 불안을 느낀다고 말함
  • 그는 34년 동안 한 번, 매우 정당한 이유로 take-home 시험을 제공했는데 그 반응이 대규모 부정행위였다는 점이 고통스럽다고 말함

AI가 흔드는 엘리트 대학의 평가 관행

  • AI는 미국 엘리트 대학의 오래된 학업 평가 관행을 바꾸고 있음
  • Princeton은 133년 동안 유지한 관행을 끝내고, 앞으로 대면 시험에 교수가 감독으로 들어가기로 함
    • 1893년 Honor Code 도입 이후 Princeton에서는 학생들이 부정행위를 하지 않겠다고 서약했고, 교수는 시험지를 나눠준 뒤 방을 나갔다가 끝날 때 돌아오는 방식이었음
    • 누군가 부정행위를 하면 다른 학생이 신고해야 했음
  • Stanford를 졸업한 22세 저널리스트 Theo Baker는 The New York Times에 “A.I. has made deception easier and more remunerative than ever before”라고 썼음
    • 그는 ChatGPT 첫 버전 출시 두 달 전 Stanford에 입학했고, 4년 동안 주변 학생들이 AI 사용 유혹을 견디지 못하는 모습을 봄
    • “I don’t know a single person who hasn’t used A.I. to get through some assignment in college”라고도 썼음
  • Serrano도 AI가 학생들에게 부정행위를 할 더 큰 유인을 준다고 봄
  • 그는 이런 사건을 덮어서는 안 되며, 진실·품위·정직을 더 이상 지키지 않는다면 학계가 신뢰성을 유지하기 어렵다고 말함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • AI 시대에는 시험이 대면·손글씨로 가야 할 듯함
    이 상황에 맞춰 수업을 어떻게 바꿨는지 글을 썼음: https://htmx.org/essays/universities-and-ai/
    아이러니하게도 대형 강의실, 대규모 복사기 같은 컴퓨터 이전 인프라 덕분에 대학 학위가 학생의 지적 능력을 더 나은 신호로 만들 수도 있다고 봄

    • 손글씨를 강제할 필요까지는 없어 보임
      낡은 데스크톱 PC, 유선 랜카드, 외부 연결 없는 같은 방 스위치, 레이저 프린터, lubuntu와 libreoffice writer 정도면 저렴하게 시험실을 만들 수 있음
      최소한 MS Word 2000급 이상의 워드프로세서 기능으로 에세이를 타이핑하게 해줘야 함
    • 대학 때 Java 수업 하나를 들었는데, 시험에서 손글씨 코드를 제출해야 했음
      지금도 그런 방식이면 통할 것 같음
    • 학생 입장에서 구술시험이나 노트 없는 필기시험은 괜찮음
      배우려고, 호기심으로 온 거라 그런 도전이 좋음
      학위 과정에 등록해놓고 왜 부정행위를 해야 하는지 정말 이해가 안 됨. 관심도 없는 수업을 버티는 건 고문 같을 듯함
    • 인도에서는 대부분의 CS 학부 수업이 손으로 코드 쓰기였으니 이미 앞서 있었음
      학생들도 컨닝 페이퍼, 숨긴 iPad, 휴대폰, 시험 중 전통적인 속닥거림으로 앞서 있었음
    • 이게 아마 가장 부담이 낮은 해결책이라는 데 동의함
      대안으로는 시험 중 기기를 꽤 잘 잠그는 Safe Exam Browser 같은 방법도 있음
      이해관계 공개: 교사가 디지털 시험을 만들고 진행하게 해주는 작은 스타트업을 운영하며, 부정행위가 디지털 시험에서 교사들이 가장 많이 호소하는 문제라 Safe Exam Browser와 연동하고 있음

  • 마지막으로 본 재택시험은 EE364a: Convex Optimization이었고, 24시간 시험에 감기까지 걸려 있었음
    집에 에어컨이 없어 호텔방을 잡았고 정말 혹독했음. 프로그래밍 문제는 대부분 맞혔지만 증명은 몇 개만 맞혔고, 그 시험과 거의 모든 과제의 반 평균은 80% 이상이었으며 최종 성적은 A-였음
    Stanford 학생들에게는 이 수업이 그리 어렵지 않았을 수도 있지만, 거의 모든 과제 평균이 그렇게 높으면 부정행위를 의심하게 됨. 단서는 오피스아워였음. 어느 수업이든 오피스아워에 가면 줄이 있었고, 조교가 어려운 문제를 쉽게 풀 수 있는 힌트를 흘리는 경우가 많다는 걸 빨리 알게 됨. 참석 가능한 학생에게 불공정한 이점이었음
    Nepali 의대생들 사이의 USMLE 부정행위 대형 스캔들도 떠오름: https://www.medpagetoday.com/special-reports/features/113627
    훌륭한 국제 의대 졸업생들을 많이 만났고, 그중엔 놀라울 정도로 USMLE 점수가 높은 사람도 많았음. 미국 학생은 의대 중 2년 미만으로 준비하지만, 국제 학생은 졸업 후 몇 년을 기다렸다가 시험을 볼 수 있어 준비 시간 제한이 없다는 점은 사실임
    그 스캔들 전에는 USMLE에서 부정행위가 가능하리라고 생각도 못 했음. Prometric 시험장은 엄청나게 통제되지만, 방식은 달랐음. 이전 응시자가 몇 문제를 기억해 비밀 데이터베이스에 추가했고, 여러 해가 지나자 거의 모든 문항이 쌓였음. 응시자들은 모든 문제를 외우느라 엄청 노력했음. 미국 레지던시라는 보상이 인생을 바꾸니 부정행위가 만연한 이유는 이해됨

  • Dartmouth CS 학과에서 직접 봤는데 상황이 나쁨
    새 입문 시스템 커리큘럼을 설계 중이고, 이를 적대적 문제로 보고 있음. 즉 학생이 투입 노력 대비 최고 성적을 최적화하더라도 학습 목표를 충족하게 만들려 함
    그래서 종이 시험뿐 아니라, 제출한 과제를 이해하는지 확인하는 1:1 인터뷰도 넣고 있음. “이 라이브러리의 이 매크로가 뭘 하나?”, “이 함수가 무엇을 하고 어떻게 동작하나?” 같은 사실 질문과 “왜 이 코드를 $whatever 대신 이렇게 구성했나?”, “다른 해결법은 무엇을 시도했나?” 같은 개념 질문을 함께 함
    코드 생성을 막지는 못하지만, 적어도 생성한 코드를 세부적으로 이해해야 함
    직접 코드를 쓰는 것만큼 좋지는 않지만 얼마나 더 나쁜지는 모르겠음. 수학 수업에서는 그 간극이 큼. 남의 증명을 이해하는 것이 직접 쓰는 것보다 훨씬 쉬우니까. 프로그래밍 수업에서는 근거는 없지만 그 간극이 조금 작다고 봄
    과거 경험상 이런 평가 방식을 처음부터 명확히 하면 학생들은 예상하고 잘 버티거나 첫 주에 수업을 드롭함. 재택시험으로 시작했다가 학기 중간에 종이 시험을 갑자기 내면, 기사처럼 이미 절반이 부정행위를 하고 있어서 회복하지 못함
    학생들은 추상적인 배움 욕구도 어느 정도 있지만, 성적에 훨씬 더 크게 동기부여됨. 적은 노력으로 좋은 성적을 받는 명확한 경로가 있으면 대부분 그 길을 택함. 학부생 강의평 사이트 이름이 문자 그대로 “Layup List”일 정도로 뻔뻔함
    강사의 일은 좋은 성적으로 이어지는 모든 경로가 실제 학습을 요구하거나, 그냥 배우는 것보다 실행하기 더 어렵게 만드는 것임
    학생을 탓하지 않는 편이 좋음. 학생들은 지표 최적화에 능하고, 그래서 여기까지 온 것임. 평가 지표를 우리가 원하는 결과에 더 잘 맞추면 됨

    • “학생을 탓하지 않는 편이 좋다”는 말에는 동의하기 어려움
      Ivy에 갈 기회를 못 얻은 사람이 훨씬 많음. 부정행위 처벌은 자동 퇴학이어야 함
      채용 관리자 입장에서, 학교가 학생들의 정직성을 보여주지 못하면 대학 학위는 아무 가치도 없음
    • “남의 증명을 이해하는 것이 직접 쓰는 것보다 훨씬 쉽다”는 말은 대학원 이상으로 가면 항상 맞지는 않음
      프로그래밍에서 가끔 “그냥 직접 X를 만들기”가 더 쉬운 것처럼, 어떤 증명 설명은 필요 이상으로 빽빽해서 직접 90%를 알아내고 마지막 10%만 힌트 문장 몇 개를 참고하는 편이 덜 힘들 때가 있음
      LLM의 화려하지만 답답한 설명이나 해법을 보고 포기한 뒤 그냥 직접 한 경우를 후회하지 않음. AI와의 소크라테스식 문답은 때로 들이는 노력만큼 가치가 없음
    • 성적을 최적화하는 건 너무 슬픔
      CS 학사 학위를 받았지만 아무도 성적을 물어본 적이 없음. 학습을 최적화하려 했고, 현실 세계에 나가면 그게 꽤 잘 보상됨
    • 아이러니 없이 말하자면, 음성 AI가 1:1 인터뷰 절차를 더 잘 관리하는 데 도움 되지 않을까?

  • 연구 분야가 게임 이론이라면, 모든 경쟁자가 LLM을 쓸 가능성이 있는 상황에서 게임이론적 최적 선택은 LLM을 쓰는 것임을 알았어야 함

    • 보상 함수에 달려 있음
      사회는 자격증을 보상해야 하나, 실력을 보상해야 하나?
    • 원문에도 또 다른 아이러니가 있음: “우리 경제학자들은 현실을 제약이 있는 최적화 문제에 반응하는 사람들의 집합으로 이해한다”
    • 게임 이론은 현실에서 별로 쓸모없어 보임. 사람들은 합리적 행위자가 아니고, 진짜 어려운 일은 그들의 행동을 정확히 모델링하는 것임
      명문 학위 자체가 목표인 곳에서는 당연히 안 통하지만, 작고 끈끈한 리버럴아츠 대학에서는 명예 규정이 꽤 잘 작동할 수도 있음

  • 대학 교수로서 솔직히 성적 매기기의 의미를 모르겠음
    누가 성적을 보고 신경 쓸까? 아마 회사 인사팀일 것임. 그렇다면 왜 교수들이 회사를 위해 무료로 선별을 해줘야 하나?
    게다가 성적 인플레이션은 이미 모두에게 A를 주고 회사가 직접 선발하게 해도 될 정도까지 왔음

    • 대학 평판에는 전혀 관심이 없는 건가?
      예전 학계가 지금처럼 이념 전쟁터가 되기 전, 고등 이후 CS 교육에서 잠깐 일했는데 그런 말을 했다면 아마 해고됐을 것임
      성적 인플레이션이 문제라면 부풀리지 않으면 됨. 표준화 시험도 바로 이런 데 유용한데, 많은 사람이 반대하는 이유는 실제 수준이 얼마나 나쁜지 드러나기 때문일 것임
      “물고기는 머리부터 썩는다”
    • 고용주인 대학은 고객인 학생이 취업에 쓰는 자격증명인 졸업장과 성적표를 판매함
      무료로 하는 일이 아님. 채점은 UC가 교수에게 급여와 복리후생으로 25만 달러 이상을 주며 받는 일의 일부임
      인사팀은 존재하는 신호를 쓸 뿐임. 똑똑한 사람이 대학 학위를 가진 경향이 있으면 그걸 필터로 쓰고, 특정 대학 출신인 경향이 있으면 그 목록을 필터로 쓰며, 성적표가 있고 똑똑한 사람이 더 좋은 성적을 받는 경향이 있으면 성적표를 요구함
      인사팀이 성적이나 성적표를 발명한 게 아님
      마지막 문장에는 동의함. 성적, 심지어 졸업 자체의 신호는 유명 대학에서도 크게 약해졌음
      그 상황을 개선하고 싶다면 UC STEM 교수진의 이 공개서한에 이름을 추가하는 것부터 할 수 있음: https://docs.google.com/forms/d/e/1FAIpQLSdwvDywR-CAt3t_U3Aw...
    • 학사 때 엄청 노력한 과제에 distinction을 받고 정말 기뻤던 기억이 있음
      나중에 튜터가 그 과제를 위원회에 가져가 high distinction을 주장했지만 근소하게 실패했고, 그래도 그 수업이 원하는 산출물의 예시로 보관됐다는 걸 알게 됨
      아직 노력과 보상의 관계를 배우던 젊은 시절이라 크게 충격을 받았음. 타고난 재능이 크지 않은 과목들에 많은 노력을 들였지만 평범한 결과가 많았는데, 꾸준히 노력하면 인정받을 만한 것을 만들 수 있다는 사실이 놀라웠음
      반면 지금의 아내는 같은 기관에서 diploma 과목을 이수했는데, pass/fail만 줬음. 많은 사람이 혼란스러워했고, “pass”에 들어가는 작업 품질의 범위가 매우 넓었음
    • 채점은 학생에게 목표를 제공함. “목표는 교육” 같은 고상한 말이 아니라 구체적인 목표임
      인간의 마음은 피드백 순환 안에서 보상 시스템을 사용함. 개인 취향 때문에 그걸 없애고 싶다면 인간이라는 현실을 무시하는 것임
    • 뭔가를 공부할 때는 내가 얼마나 잘하고 있는지 외부 평가를 받는 게 좋음
      그래야 과신이나 가면증후군에 빠지지 않음. 새로운 내용을 다룰 때는 자신의 프로젝트 수준을 객관적으로 보기 어렵다

  • “재택, 폐쇄형 시험”은 모순어법임
    AI가 문제가 아니라는 다른 사람들 말에 동의함

    • 학부의 고전학 시험과 CS 대학원 자격시험 중 가장 좋았던 시험은 대면·손글씨·오픈북이었음
      시간이 충분했고 질문 범위도 대략 알고 있었음. 암기보다 실제로 자료를 숙달했는지를 보상함
      CS 시험 때 어떤 사람들은 물리적으로 들 수 없을 만큼 책을 많이 가져왔지만, 별 도움이 되지 않았다고 봄
    • 그런 시험을 본 적이 있음. 명예 규정에 맡기는 방식이었음
      일반 시험은 학생 지식을 평가하기엔 너무 짧고, 빠른 학생이 이점을 가져서는 안 된다는 생각이었음
    • 기말시험은 재택이 아니었고, 거기서 엄청난 격차가 드러났음
      재택시험을 주고 학생들이 부정행위를 하지 않으리라 기대하던 시대는 이미 지났다는 데 동의함. 대부분의 학생이 정직하게 행동하리라 기대해도 괜찮던 때가 있었을지 모르지만, 오늘날 분위기에는 전혀 맞지 않음
      특히 코로나 이후 어떤 이유들의 조합 때문인지, 학생들은 노력 대비 성적 비율을 최소-최대화하는 것 말고는 별로 신경 쓰지 않는 듯함
      그래서 학생들이 초반부터 ChatGPT를 쓰고 그게 계속될 거라 생각하다가, 처음으로 부정행위를 못 하는 과제에서 완전히 무너지는 결과가 나옴
    • 게임 이론 전문가가 여기서 문제를 못 본다는 게 가장 황당함
    • 지금 현실은 모르겠지만, 25년 전 Harvey Mudd에 다닐 때는 폐쇄형 재택시험이 꽤 흔했음. 보통 3/5/8시간 같은 제한 시간이 있었고, 누가 부정행위를 한다는 생각만으로도 충격을 받았을 것임
      우리는 명예 규정을 매우 진지하게 받아들였음. 나도 예전에는 학생들에게 “외부 자료 금지” 규칙이 있는 오픈북 재택시험을 자주 냈지만, 이제는 거의 불가능하다고 결론 내렸음. 여기는 공식 명예 규정도 없음
      특히 인상적이었던 건 시간제한이 있는 폐쇄형 수학시험이었는데, 시험지에는 교재의 문제 번호 네 개만 적혀 있었음. 책을 열어 그 문제들만 베껴 쓰고 다른 건 보지 않은 뒤 책을 덮어야 했음
      솔직히 그건 문제를 자초하는 방식이었고, 이제 내가 교수가 되고 보니 그 교수는 불합리하게 게을렀다고 생각함. 그래도 그 정신은 잘 보여줬음. 정확히는 Harvey Mudd 교수가 아니라 인접한 대학원 교수였는데, 그게 영향을 줬을지도 모름

  • 최상위 대학의 경쟁적인 프로그램에서 상대평가를 받고, 동급생들이 AI로 부정행위를 한다는 걸 알면 같은 일을 할 수밖에 없는 압박이 큼
    특히 신입 졸업생 일자리는 더 구하기 어려워졌고, 재학 중 인턴십과 사이드 프로젝트까지 더 많이 해야 한다는 압박도 커짐. 부정행위 없이는 경쟁할 방법이 없음

    • 65세에 대학 교육·연구 과학 경력에서 은퇴한 뒤, 이번에는 고등학교 과학, 주로 A등급 공립고의 AP STEM 과목을 가르치러 돌아왔음
      부정행위와 AI 문제는 이제 코로나보다 큰 위기임. 경험상 심화·AP 수업에서 부정행위를 하지 않는 학생은 매우 적고, 이유는 대체로 위와 같음
      AI를 통한 부정행위가 문제가 되지 않도록 수업과 시험을 설계하려면 교사에게 엄청난 자원이 필요함. 아는 많은 교사들은 거의 포기했음. 이미 교사의 시간과 에너지 요구가 하늘을 찌르는 상황에서 부정행위를 우회하는 비용과 노력이 너무 큼
      학교 행정도 별 도움이 안 됨. 모든 수준에서 소프트웨어에 무비판적이고 열광적으로 의존하기 때문임. 어떤 면에서는 행정도 문제의 일부임
      미국 밖 학교는 어떤지 모르겠지만, 여기서는 군비 경쟁이 되어버렸음
    • “선택지가 거의 없다”는 말에는 개인적으로 강하게 반대함
      의무론은 집에서부터 시작됨
    • 선택지는 항상 있음
      이 경우 올바른 행동은 행정, 기부자, 정치인에게 크게 문제를 제기하는 것임. 필요하면 AI를 써서라도 해야 함
      학교가 부정행위 처벌을 거부하는 문제는 기업과 정치로까지 새고 있음
    • 학교는 상대평가를 금지해야 함
      예를 들어 MIT는 그렇게 함. 기준은 절대적이어야 함
    • 이런 정당화는 헛소리이고, 지금 미국의 많은 기관에서 보이는 도덕적·윤리적 부패의 일부임
      선택지는 있음. 그냥 책임을 피하려고 없는 척하는 것임
      게다가 답답한 금융/퀀트 회사 몇 군데를 빼면, 대학 GPA가 얼마였는지 물은 곳도 없었고 신경 쓰지도 않았음

  • AI 부정행위를 지지하는 건 전혀 아니지만, 몇 시간짜리 필기시험을 감독하는 것보다 지루하고 영혼을 갉아먹는 일은 없다고 경험상 말할 수 있음
    그 일 때문에 고등교육에서 가르치는 데 정이 떨어졌음
    많은 문제를 풀려면 Ivan Illich의 생각처럼 https://en.wikipedia.org/wiki/Deschooling_Society 교육을 시험과 인증이 아니라 교육 그 자체로 만들어야 한다고 봄

    • “교육을 시험과 인증이 아니라 교육 그 자체로 만들자”는 건 이미 시도해봤음
      성적은 인종차별이라는 식의 말도 안 되는 흐름이 있었고, 부분적으로 NCLB에 대한 반작용이었음
      작동하지 않음. 학습에는 어려움과 평가를 마주하는 과정이 필요함. 혼자 배워도 마찬가지임
      시험 없는 학습이 어떤 모습인지 보려면 AI와 대화해서 어떤 주제를 독학했다고 믿는 사람들을 보면 됨. 열에 아홉은 뭔가 안다고 생각하지만 실제 문제를 혼자 풀지 못함
    • 시험 감독이 왜 “영혼을 갉아먹는” 일인지 모르겠음
      학생들이 시험을 쓰는 동안 걷거나 서 있으면 됨. 채점은 지루하지만, 감독은 중립적인 경험임

  • “AI 시대”라고 하지만, 예전에도 그냥 Google로 문제를 찾아 해답을 구할 수 있었음
    UVA에서 부정행위를 줄인 건 명예 규정과 각 교수의 학생 정직성에 대한 믿음이었음. 그 문화만으로도 부정행위를 하지 않게 만들기에 충분했음
    해결책은 문화에 집중하는 것이라고 봄. 부정행위는 늘 유혹적인 선택지여야 하고, 학생은 그 유혹 속에서 정직성을 단련해야 함. 정직성도 쓰지 않으면 위축되는 근육임

    • 부정행위에 대한 실제 결과가 줄어든 것이 큰 역할을 했음
      대학 때는 부정행위로 걸리면 큰 곤경에 빠졌음. 반복자는 과목 낙제 같은 심각한 결과를 맞았고, 필수 경로 과목이면 졸업이 늦어질 수 있었음. 일 시작이 늦어지니 실제 금전 비용이 붙음
      요즘 대학은 부정행위 문제를 어떻게든 피하려는 것처럼 보임. 기사 속 교수도 부정행위 문제에 관심을 끌기가 얼마나 어려웠는지, 자기 학과 안에서도 반응이 없었다고 불평함
      학생들도 이를 알고 있음. 부정행위가 임계질량을 넘고, 부정행위자들에게 아무 나쁜 일이 일어나지 않는 걸 보면, 부정행위를 안 하면 뒤처질 위험이 있다고 느끼기 시작함. 부정행위자들은 더 높은 성적, 이 경우 많은 사람이 100%를 받고, 자료를 공부하는 동안 파티하러 나감. 성적이 곡선으로 배분되면 정말 불리함
      그래서 유혹이 퍼짐. 주변에서 몇몇 젊은 사람들이 ChatGPT로 답을 확인하고 배운다고 스스로를 속이는 걸 봤음. 하지만 ChatGPT가 문제를 고치고 정답을 훑는 것은 매우 피상적이라는 걸 깨닫지 못함
      누를 버튼이 있다는 걸 아니 자기 작업을 확인하는 노력도 줄어듦. 그 버튼에 의존할 수 없는 상황에 놓이면 전부 무너짐
    • 취지에는 동의하지만, 대학 비용 상승을 고려하면 명예 시스템의 침식은 피할 수 없어 보임
      지난 20년 어딘가에서 대학은 사치재가 되었고, 그에 따라 고객들의 권리의식도 자연스럽게 생김
      여기에 강의실 수업, 특히 가르치는 걸 귀찮아하는 것처럼 보이는 종신 연구 교수의 수업이 직장 기술과 거의 관련 없다는 인식이 커졌음
      그래서 학생들이 규정은 무시하고 체크박스 채우기에 집중하는 게 영리하다고 판단한 것도 어느 정도 맞다고 봄
    • “문화”를 고치자는 데 동의하려면, 무엇이 잘못됐는지부터 합의해야 함
      우리는 그 합의조차 못 하니 고치기도 어려움
    • 문화를 “고치는” 일은 개별 교수가 학생들에게 설교하는 것보다 훨씬 넓은 맥락을 포함
      세대 간 계약 전체, 학생들의 신뢰 획득, 그들의 자발적 동의가 필요함. 냉소와 불신, 진심으로 받아들이지 못해서 생기는 이탈이 많음
      단순히 조금 더 꾸짖고 “부정행위는 나쁜 거야, 알겠지”라고 말하는 문제가 아님
      출발점 중 하나는 누가 왜 대학 학위가 필요한지, 이 학력주의가 젊은 사람들의 생산적인 몇 년을 어떻게 빼앗아 왔는지 진지하게 묻는 것임
      적어도 예전 거래는 전공과 무관한 학사 학위가 관문이더라도 중산층 일자리를 기대할 수 있다는 것이었음. 그런데 그 거래마저도 나빠졌음
    • 문화는 기관과 학위의 역할에서 나옴
      현실적으로 학위의 주된 역할은, 이상적으로 무엇이어야 하든 간에 고임금 일자리의 관문임
      여기서 문제가 생김. Y 직업을 얻기 위해 대학에서 X를 전공한다고 해보자. 회사가 X 역량이 Y 업무에 필요하다는 걸 증명하라고 학위를 요구한다고 생각하게 됨
      그런데 대학에 가보면 X 학위를 받는 데 필요한 대부분의 수업이 실제로는 X와 아무 관련이 없음. 게다가 시험 직전 벼락치기만 하고 X에 대한 실질 지식이 없는 학생들도 A를 받고 졸업함
      여름 인턴으로 Y 일을 해보면, Y 일을 배우는 것은 학교에서 배운 X와 거의 관련 없다는 걸 알게 됨. Y 일을 아주 잘하는 관리자와 회사 사람들, 모두 X 전공자였던 사람들은 X에 대해 거의 다 잊었고, 오히려 나보다도 덜 알지만 Y 업무는 훌륭하게 함
      인턴을 마치고 나면 자신이 Y 일을 충분히 할 수 있다는 걸 앎. 하지만 학위가 없으니 아직 Y 직업은 얻을 수 없음. Y 일을 하는 사람들보다 X를 더 많이 알고, 그들이 그 일을 하는 데 X 지식이 필요하지 않다는 걸 봤는데도 학교로 돌아가 X를 더 배워야 함
      결국 Y 일을 얻으려고 X 학위를 강제로 따야 하는데, Y 일에는 X 지식이 실제로 필요하지 않음. 심지어 X 학위가 X에 대한 실질 지식을 의미하지도 않음. 어차피 모두 Y는 현장에서 배움
      그러니 X 시험이 오면 “왜 여기에 시간을 쓰지?” 싶고, 시스템 전체가 엉망이라 ChatGPT를 쓰겠다고 결정하게 됨
      이것이 대학에서의 내 경험과 비슷했음. LLM 전이라 더 어려웠고, 공부를 많이 안 해도 A를 받을 수 있어서 부정행위는 안 했지만, 하는 사람을 탓하기는 어렵다고 봄
      이 시스템에서 정직성이 어디에 들어가는지 정말 모르겠음. 시스템 자체에 정직성이 없으니 그 안에서 정직하게 행동하는 건 호구가 되는 것처럼 보일 때가 있음
      정직성을 촉진하도록 문화를 바꾸고 싶다면 교육과 학위가 임의의 관료적 관문 이상의 의미를 가져야 함

  • 이젠 재택시험은 끝난 듯함
    학부생들의 이런 행동은 이해가 안 됨. 교육에 큰돈을 내고 교육 부분을 건너뛰는 이유가 뭔가?

    • 많은 사람에게 대학 학위는 취업을 위한 순수한 형식이기 때문임
      대학 졸업 후 첫 직장에서, 회사의 베테랑들은 모두 고등학교 졸업장만으로 들어온 사람들이었음. 지금은 경쟁력을 가지려면 현실적으로 석사 학위가 필요함. 내가 사는 노르웨이에서는 지원자 대부분이 5년제 석사 학위를 갖고 있기 때문이고, 사실상 학력 인플레이션임
      여기에는 농담 섞인 표현으로 “Mastersyken”, 즉 “석사병”이 있음. 너무 많은 사람이 졸업장만을 위해 석사 학위를 따고, 취업에서 더 매력적으로 보이려 하지만, 결국 “모두”가 석사를 갖게 되어 모두가 전과 같은 위치에 남고 학자금 대출만 더 생기는 현상을 말함
      최악은 일을 시작한 뒤, 이 일이 고등학교 졸업 직후에도 충분히 할 수 있었던 일임을 실제로 깨닫는 순간임
    • 대학 동기를 잘못 보고 있음
      대부분에게 대학의 목적은 더 높은 연봉 기회를 열어주는 종이 한 장을 얻는 것임. 그래서 최소한의 노력으로 그 종이를 얻는 데 필요한 일을 하는 것임
      학위, 특히 평판 좋은 대학의 학위가 그런 수단이기를 멈추지 않는 한 이 행동은 계속됨
    • 어떤 학생들은 실제로 배우는 데 관심이 없고, 졸업장을 의미 있는 자격증명이 아니라 밥줄로 보는 듯함
      아니면 대학을 네트워킹 기회로만 볼 수도 있음
      처음부터 그곳에 있고 싶지 않거나 학습 가치를 보지 못한다면 쉬운 길을 택하는 건 놀랍지 않음. 혹은 Brown에 들어올 때부터 부정행위를 했고 계속하는 것일 수도 있음
      하지만 나는 항상 배우는 데 관심이 있었고, 부정행위가 학습 회피 방식이라는 걸 이해했음. Brown 같은 곳에서 제공되는 교수진, 조교, 강의, 실험실, 도서관, 스튜디오, 연습 공간, 흥미로운 연사, 예술·문화 행사, 컴퓨팅 시설, 메이커 스페이스 같은 놀라운 학습 자원을 왜 낭비하나?
    • 어떤 것을 모르는 상태에 있음
      시험 문제가 그 사실을 알려줌
      교과서, LLM, 인터넷 또는 그 전부의 형태로 오라클이 있음
      어느 행동이 교육을 건너뛰는 것인가? 답을 찾아보는 것인가, 답을 찾아보지 않는 것인가?
    • 재택시험은 원래도 부정행위가 많았고, 지금은 더 나빠졌을 가능성이 큼
      교사들은 정말 그만둬야 함. 얼마나 잘 속이고 거짓말하는지를 추적하는 지표를 만들고, 취업하려면 사실상 모두가 하니까 너도 속이고 거짓말하게 강제하는 것은 너무 파괴적임
답변달기