GN⁺: 미시간대, 알파벳 순위가 낮은 이름의 학생들이 낮은 학점을 받는 것으로 밝혀져

순차적 채점 편향에 대한 연구 결과

• 미시간 대학교 연구진이 3천만 건 이상의 Canvas 성적 기록을 분석한 결과, 알파벳 순으로 뒤에 위치한 성을 가진 학생들이 더 낮은 점수를 받는 경향이 있음
  • 이는 순차적 채점 편향과 Canvas에서 학생 제출물의 기본 순서가 성의 알파벳 순위에 기반하기 때문임
• 알파벳 순으로 불리한 학생들은 더 부정적이고 정중하지 않은 코멘트를 받으며, 학생들의 사후 성적 불만으로 측정한 채점 품질도 낮음
• 연구진은 채점의 공정성과 정확성에 대해 많은 생각을 하지만, 데이터를 보고 순서가 차이를 만든다는 것을 깨달을 때까지 이를 인식하지 못했다고 함

연구 데이터 및 결과

• 2014년 가을학기부터 2022년 여름학기까지 Canvas의 모든 프로그램, 학생, 과제에 대한 사용 가능한 과거 데이터를 수집함
  • 대학 등록 데이터와 보완하여 학생들의 배경, 인구통계, 대학에서의 학습 궤적에 대한 상세 정보를 포함함
• 데이터는 미시간 대학교에서 나왔지만, 연구진은 학습 관리 시스템의 공통적인 설계 문제로 인해 다른 기관과 과정에도 일반화될 수 있다고 말함
  • 학생 과제를 이름의 알파벳순으로 정렬하는 기본 설정에 기인함
• 평가자가 더 많은 과제를 평가할수록 채점 품질이 저하되는 명확한 패턴을 발견함
  • A, B, C, D, E로 시작하는 성을 가진 학생은 무작위로 채점될 때보다 100점 만점에 0.3점 높은 점수를 받음
  • 마찬가지로 알파벳 뒤쪽 성을 가진 학생은 0.3점 낮은 점수를 받아 0.6점 차이가 발생함
• 0.6점 차이는 작아 보이지만, 이러한 불일치는 학생들의 과목 학점 평균에 영향을 미쳐 각자의 경력 경로에서 기회에 부정적인 영향을 줌

연구 배경 및 제안

• 이 연구 아이디어는 교육 기술을 연구하는 왕과 AI를 연구하는 페이가 연구에 대해 토론하는 중에 나옴
  • 기계 학습의 기본 작업인 데이터 레이블링도 길고 지루할 수 있는 연속 작업이지만 무작위로 수행된다는 점에 주목함
  • 시범 연구를 통해 채점 시간에 따른 성적 불균형이 있는지 확인함
• 연구진은 피로가 이런 효과를 유발하는 주요 요인 중 하나일 수 있다고 추측함
  • 오랜 시간 동안 무언가를 하다 보면 지치고 주의력이 떨어지며 인지 능력이 저하됨
• Canvas와 다른 온라인 학습 관리 시스템에서 과제를 무작위 순서로 채점하는 옵션이 있고 일부 교육자들이 사용하지만, 기본 모드는 알파벳순임
  • 간단한 해결책은 기본 설정을 무작위 순서로 만드는 것
• 또한 학술 기관은 대규모 수업에 더 많은 채점자를 고용하거나, 작업량을 더 많은 사람들에게 분배하거나, 편향을 인식하고 줄이도록 훈련할 것을 제안함

GN⁺의 의견

• 순차적 채점 편향이 학생들의 성적에 실질적인 영향을 미친다는 점은 교육 평가 시스템의 공정성 문제를 제기함. 성적이 학생의 미래에 큰 영향을 미치는 만큼 이에 대한 개선이 시급해 보임
• 다만 영어권 국가에 국한된 연구여서 한국에서는 큰 문제가 되지 않을 수도 있음. 한글의 자모순이나 한자 성씨의 획순으로 했을 때도 같은 현상이 나타나는지 국내 연구가 필요해 보임
• 평가자의 피로도가 채점 품질에 영향을 준다는 점은 교육 현장에서 평가 업무에 대한 적절한 보상과 지원이 필요함을 시사함. 과도한 업무 부담은 공정한 평가를 저해할 수 있음
• 인공지능 기반 자동 채점 시스템 도입도 하나의 대안이 될 수 있을 것. 다만 편향성 문제가 완전히 해소되기는 어려울 것이며, 평가의 질적인 측면을 보완하는 방안 마련이 함께 요구됨

[neo]

Hacker News 의견

다음은 해커뉴스 댓글들을 요약한 내용임:

• 대학교에서 시험 채점시 책상에 쌓인 시험지들의 순서는 수거된 순서대로임. 채점자들은 한 방에서 특정 문제를 맡아 일관된 점수를 주기 위해 시험지들을 뒤섞음. 채점 순서는 사실상 랜덤이라고 볼 수 있음.
• 과제 제출물 채점시에는 학생 이름 알파벳순으로 채점하게 되는데, 공정성을 위해 순서를 섞어야 한다는 점을 모두가 인정함. 이는 (1) 초반에는 덜 피곤하고 (2) 막바지에는 곧 끝난다는 사실에 기분이 좋아지며 (3) 초반에는 흔한 실수나 감을 잡지 못해 놓칠 수 있기 때문임.
• 초등학교 때 필자의 성이 학생 명단 맨 앞이라서 티켓 관리, 체육 수업 첫번째 평가 등 특별한 일을 자주 맡았다고 함. 내성적인 아이에게는 성가신 일이었음.
• 8090년대 학교에서는 성 알파벳순으로 자리를 앞뒤로 배치했음. 고등학교 때는 AD 성을 가진 학생들이 우등생이 많았고 U~Z 성을 가진 학생들은 말썽꾼이 많았다고 함. 선생님과 가까이 앉아 더 관심을 받아서 그랬을 수도 있음.
• Z와 W 이니셜을 가진 사람은 알파벳순 정렬을 많이 의식하지만, A와 B 이니셜을 가진 친구에게는 그렇지 않다고 함.
• 대학에서는 익명화된 후보자 번호로 중요 시험과 과제를 처리함. 완전히 익명은 아니지만 시스템에 어느 정도 진실성을 부여함.
• 채점시 초반에는 특정 실수나 예상치 못한 답변을 만나지 않다가 이후에 만나면 이전 답안지로 돌아가 재채점해야 함.
• 랜덤 순서를 기본 설정으로 하는 것이 편견 해소에 도움될 수 있음. 다만 마지막에 채점받는 학생은 여전히 낮은 점수를 받을 수 있음.
• 아내 성이 Y로 시작해서 뒤쪽이라 싫어했기에, 아이들 성을 남편 성(E로 시작)을 먼저 쓰고 하이픈으로 연결함. 이름도 A, B로 시작해서 정렬시 앞에 오도록 함.
• 윔피 키드의 일기 책에서 알파벳 앞 성을 가진 아이들이 교실 앞자리에 앉아 질문을 더 받고 많이 배운다는 내용이 나옴.
• 성이 알파벳 뒤쪽인 학생의 아버지로서, 아들 수업에서 교사가 프로젝트 리뷰를 성 순서로 하다 보면 40% 정도는 뒷부분까지 다루지 못하는 것을 봄. 하지만 모든 학생이 적극적으로 교사를 찾아가지는 않아 성적이 낮아질 수 있음.
• Helen Wang이 왜 이 주제로 연구를 했는지 궁금해 함.