▲

챗봇 시대의 대학 시험 운영하기

 (ploum.net)
5P by GN⁺ 18시간전 | ★ favorite | 댓글 1개
  • 오픈소스 전략 수업의 시험에서 학생들이 스스로 학습하도록 유도하기 위해, 인터넷 접속과 자료 활용을 모두 허용하는 비전통적 시험 방식을 운영해봄
  • 학생들에게 챗봇 사용 여부를 사전에 선택하게 하고, 사용 시에는 출처 명시·프롬프트 공개·오류 분석을 의무화
  • 60명 중 57명이 챗봇을 사용하지 않았으며, 이들의 성적은 전반적으로 비사용 그룹이 더 우수한 경향
  • 학생들은 부정행위에 대한 두려움과 교수의 평가 기준에 대한 인식 때문에 챗봇 사용을 꺼리는 경향을 보임
  • 교수는 ‘의식의 흐름(stream of consciousness)’ 파일 작성을 통해 학생의 사고 과정을 파악하고, 챗봇보다 자기 사고력 강화의 중요성을 강조

시험 운영 방식

  • 시험은 모든 자료와 인터넷 사용 허용, 시간 제한 없음, 학생 간 토론 가능, 자율적 문제 출제 가능 등 개방적 규칙으로 구성
    • 학생들은 시험 복장도 자유롭게 선택 가능, 전통 의상부터 유머러스한 복장까지 다양하게 참여
  • 이러한 방식은 시험을 학습의 연장선으로 만들고, 긴장감을 줄이는 목적

챗봇 사용 선택 제도

  • 학생은 시험 전 챗봇 사용 여부를 명시적으로 선택해야 함
    • 옵션 A: 챗봇 미사용, 사용 시 부정행위로 간주
    • 옵션 B: 챗봇 사용 가능, 단 사용 시마다 출처·프롬프트·오류 분석을 제출해야 함
  • 챗봇의 오류는 인간의 실수보다 더 큰 감점 요인으로 처리, 사용자는 결과에 대한 책임을 져야 함

학생들의 선택과 성적 분포

  • 60명 중 57명이 챗봇을 사용하지 않음
    • 개인적 선호 그룹: 자율적 학습을 중시, 성적 15~19점
    • 비사용 그룹: 챗봇 상호작용을 싫어함, 평균 13점
    • 실용 그룹: 시험 특성상 불필요하다고 판단, 12~16점
    • 헤비유저 그룹: 챗봇 의존으로 혼란 발생, 대부분 8~11점
  • 챗봇 사용 학생 3명 중
    • 1명은 챗봇을 사용하는 것을 잊어먹음
    • 1명은 개념 확인용으로 최소한의 사용
    • 1명은 복잡한 LLM 세팅으로 오히려 이해도 저하(하나의 LLM에서 물어보고, 다른 LLM에 확인 요청)
      • 챗봇없이 대화해보니 이해도가 충분한데, 챗봇 출력물때문에 오히려 더 이해를 못함. 챗봇이 그에게 오히려 해가 된 셈

부정행위에 대한 세대적 인식

  • 대부분의 학생이 챗봇을 신뢰하지 않거나 부정행위로 오해받을까 두려워함
  • 일부 학생은 Google의 자동 생성 답변 기능조차 부정행위로 오해받을까 걱정
  • 현재 대학 제도에서는 부정행위 시 최대 3년간 대학 출입 금지 등 강력한 제재 존재
  • 교수는 과거 세대와 달리 학생들이 시험 전 협력조차 꺼리는 문화에 놀라움을 표현

‘의식의 흐름’ 파일 실험

  • 학생들에게 시험 중 자신의 생각을 실시간으로 기록하도록 요구
    • 수정·삭제 금지, 복사 금지, URL만 허용
    • 챗봇 사용 금지, 오직 자신의 사고만 기록
  • 60명 중 55명이 제출, 24명은 git-send-email로 제출 성공
  • 이 기록을 통해 학생의 스트레스와 사고 과정을 파악 가능
    • 일부 학생은 글을 쓰며 문제 이해가 명확해지고 불안이 완화됨을 표현
    • 교수는 이 파일을 통해 실제 이해력은 있으나 표현이 부족한 학생을 구제

결론과 교육 철학

  • 교수는 이 방식을 다음 해에도 유지할 계획
  • 챗봇은 도구로서의 활용 능력이 중요하며, 잘 다룰 수 있다면 굳이 필요하지 않음
  • 진짜 문제는 기술이 아닌 구세대의 인프라 파괴와 비효율적 시스템
    • Outlook 도입으로 이메일 경험이 악화, 학생들은 이메일을 ‘총장 스팸함’이라 부름
    • 많은 학생이 Git과 GitHub의 차이조차 모름, Microsoft 종속 환경의 결과
  • 교수는 학생들에게 “내 세대보다 더 빠르고 깊게 배우라”는 메시지를 전하며,
    세대 간 학습의 진보와 비판적 사고의 계승을 강조
▲
GN⁺ 18시간전  [-]
Hacker News 의견들

  • 10년 전에는 시험을 손으로 직접 썼고, 인터넷이나 LLM 같은 건 없었음
    지금도 그 방식이 충분히 통함. 학생이 구글링 능력을 평가받는 게 아니라면 굳이 다른 방식을 쓸 이유가 없다고 생각함

    • 나도 수업에서 다시 종이 시험으로 돌아가고 있음. 디지털 기기는 금지하고, 7개의 짧은 퀴즈로 분산 평가함. 프로젝트 비중은 50%로 줄였음. 학생이 직접 했는지 확인이 어렵기 때문임
    • 문제는 채점 시간 부족임. 20페이지를 15분 안에 봐야 할 때도 있음. 그래서 객관식, 도식, 계산 문제로 단순화함. 손글씨가 너무 엉망인 학생도 많아서, 단순한 터미널 입력 정도는 허용해도 좋을 듯함. 또 학생이 모든 걸 외우지 않아도, 어디서 답을 찾을지 직관적으로 이해하는 게 중요하다고 봄
    • 오픈북 시험은 새롭지 않음. 수학이나 생물학에서도 자주 있었음. 기본 개념을 모르면 구글링으로는 통과 못 함. 단순 암기보다 비판적 사고력을 평가하는 시험 설계가 필요함
    • 대학 시절 온라인 강의 확대를 밀던 시절이 있었음. 수업 질은 떨어지고 학위 가치도 희석됨. 공공대학이 왜 이윤 극대화를 추구하는지 의문이었음
    • 이 방식은 결국 암기력 테스트에 치우친다고 생각함. 나도 중기 기억력이 좋아서 시험은 잘 봤지만, 그게 진짜 이해를 의미하진 않음. 기억력이 좋은 사람에게만 유리한 구조는 공정하지 않음

  • 많은 학생들이 “왜 배워야 하는가”에 답을 못 찾는다고 느낌
    졸업 후엔 “해고당하지 않을 만큼만” 알면 된다는 게 현실임. LLM 시대엔 그 기준이 더 낮아짐. 그래서 오히려 전통적 시험 방식으로 돌아가야 한다고 생각함. 손으로 쓰는 폐쇄형 시험, 구술시험, 숙제는 없애고, 대신 수천 개의 문제와 해설을 공개해 창의성의 기반이 되는 암기력을 훈련해야 함

    • 나는 대학의 목적이 단순히 “해고당하지 않기”가 아니라 인류 지식의 확장에 기여하는 것이라고 생각함. 하지만 지금 대학은 시장 논리에 따라 기업이 원하는 인재를 찍어내는 곳이 되어버림. 게다가 많은 직업이 실제로는 ‘무의미한 일(bullshit jobs)’ 일지도 모름
    • 학생들이 LLM에 지속적으로 의존할 수 있다고 가정하는 것도 위험함. 만약 LLM 사용료가 월 1000달러로 오르면? 그때도 일을 할 수 있을까?
    • 유럽에서는 예전부터 구술시험과 손필기 시험이 일반적이었음. 숙제 점수를 매기는 문화가 오히려 이상하게 느껴졌음. LLM 시대엔 무엇을 배워야 하는지가 더 중요해졌다고 생각함
    • 이제 교육의 질문은 “어떻게 가르칠까”가 아니라 “일과 역량의 의미가 무엇인가”로 바뀌었음. 사회는 역량보다 퍼포먼스를 중시하게 되었고, AI는 그 흐름을 더 강화함
    • 내 전자기학 교수는 “공식을 외우는 게 아니라 관계를 이해하라”고 했음. 하지만 나는 공식 암기가 관계 이해의 출발점이라고 생각함. 물리학은 단순히 수식이 아니라 시스템의 진화 구조를 이해하는 학문임

  • “대부분의 학생들은 챗봇을 쓰고 싶어하지 않는다”는 말은 이제 틀린 듯함
    나는 대학 교수인데, LLM에 의존하는 학생이 폭발적으로 늘고 있음. 앞으로는 LLM 없이는 공부를 못 하는 세대가 나올까 걱정됨

    • 기사 속 교수와 학생은 학습 자체에 흥미가 있었기에 LLM이 필요 없었을 것임. 하지만 대부분의 학생은 통과가 목표라서 LLM을 쓰는 게 합리적임. 나도 흥미 없는 과목이라면 LLM을 썼을 것 같음
    • 이 사례는 특수한 시험 환경이라 일반화하기 어렵다고 봄. “AI를 쓰되, 그 결과에 책임을 져야 한다”는 조건이라면, 준비된 학생은 굳이 AI를 쓰지 않을 것임
    • 대학에서 LLM 사용이 금지되어 있다면, 학생들은 두려움을 통해 자율적 사고를 배우게 될 것임. 비판적 사고는 꾸준히 훈련해야 하는 기술임
    • LLM이 진짜 비용을 청구하기 시작하면, 가격 장벽으로 인해 많은 학생이 접근하지 못할 수도 있음
    • 구글이 검색을 망치고 LLM 박스로 대체한 게 문제임. 학생들의 욕구가 아니라 기업의 방향이 원인일 수도 있음

  • 어떤 교수는 학생의 공감 능력과 배려심이 놀라울 정도로 높다고 느꼈음. AI에 대한 접근도 다른 교육자들과 달리 매우 인간적임

  • “시험 중 학생들끼리 토론을 허용한다”는 발상이 흥미로움
    그렇다면 팀 단위 졸업장을 줘야 하지 않을까 하는 농담이 나옴. 실제로 팀 단위로 채용하는 회사도 있으니 나쁘지 않은 아이디어일 수도 있음

    • 원글 작성자임. 나는 Open Source Strategies를 가르침. 핵심은 협업임. 문제를 정의하고, 질문하고, 답을 통해 이해를 확장하면 이미 훌륭한 학습임.
      또 한 가지 방법은 학생 1이 개념을 설명하고, 학생 2가 이해하도록 20분 안에 가르치게 함. 이후 학생 2의 답변으로 학생 1을 평가함. 서로 책임감 있는 협력을 유도하는 방식임
    • 두 학생 모두 적극적으로 참여해야 한다는 규칙이 있으면 더 좋을 듯함
    • 학교의 경쟁적 문화에 대한 반작용으로 이런 협업형 수업이 생긴 것 같음
    • “그냥 모든 졸업장을 OpenAI에 보내자”는 냉소적 농담도 나옴. 교육의 가치가 흔들리고 있다는 풍자임

  • 이 교수의 유연한 시험 설계가 인상적임. 학생을 이해하고, 기대치를 명확히 하고, 함께 배우려는 태도가 보기 드묾

    • 원글 작성자임. 대부분의 교수는 표준 시험을 잘 치러서 교수가 된 사람임. 나는 반대로 나쁜 학생이었음. 최소 점수로 졸업했지만, 오픈소스 분야에서 커리어를 쌓았고, 그 덕분에 교수로 채용됨. 비전통적 경로에 감사함

  • “학생들이 부정행위를 두려워해 서로 협업하지 않는다”는 말이 놀라웠음. 예전엔 오히려 부정행위가 만연했다고 들었기 때문임

    • 나는 석사 과정에서 가르치는데, 최근 몇 년간 학생의 약 15%가 노골적으로 표절함. 심지어 두 명이 바이트 단위로 동일한 답안을 제출한 적도 있음
    • 이 수업이 전체 학생들의 일반적 행동을 대표하진 않을 수도 있음

  • 이 교수의 수업 방식이 정말 사려 깊고 균형 잡힌 접근이라고 느낌. 학생에게 자율성과 책임을 동시에 주는 구조임.
    “내 목표는 너희가 나보다 더 빠르고 깊게 배우는 것”이라는 말이 특히 인상적임

답변달기