미시간대 연구: 알파벳 순서가 뒤인 성의 학생들이 더 낮은 학점을 받음

• 미시간대 연구진은 Canvas 채점 기록 3천만 건 이상을 분석해, 성이 알파벳 뒤쪽에 있는 학생들이 더 낮은 점수를 받는 경향을 확인함
• 핵심 원인은 제출물을 성 기준 알파벳 순서로 보여주는 Canvas 기본 정렬과, 채점자가 과제를 순서대로 평가하면서 생기는 순차 편향임
• A-E 성의 학생은 무작위 채점보다 100점 만점 기준 0.3점 높게, 알파벳 뒤쪽 성의 학생은 0.3점 낮게 받아 총 0.6점 격차가 생김
• 약 5%의 채점자가 Z에서 A 방향으로 채점할 때는 격차가 반대로 나타나, 성 자체보다 채점 순서가 점수 차이를 만든다는 해석을 뒷받침함
• 0.6점 차이는 작아 보여도 과목 GPA와 진로 기회에 영향을 줄 수 있어, 무작위 채점을 기본값으로 바꾸고 대형 강의의 채점 부담을 줄이는 조치가 필요함

---

Canvas 기본 정렬이 만든 성 이니셜 격차

• 미시간대 연구진은 2014년 가을 학기부터 2022년 여름 학기까지 Canvas에서 확보 가능한 모든 프로그램, 학생, 과제의 과거 채점 데이터를 수집함
• 분석 대상은 3천만 건 이상의 채점 기록이며, 대학 등록처 데이터로 학생 배경, 인구통계, 학습 경로 정보를 보완함
• 성의 알파벳 순서가 뒤쪽인 학생들은 더 낮은 점수를 받고, 더 부정적이고 덜 공손한 피드백을 받으며, 학생 불만으로 측정한 채점 품질도 낮아지는 패턴을 보임
• 관련 논문은 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity이며, Management Science 심사 중임

순차 채점 편향의 작동 방식

• Canvas는 학생 제출물을 기본적으로 성의 알파벳 순서로 정렬함
• 이 기본 설계는 특정 과목에만 머물지 않고, 학습관리시스템을 쓰는 여러 기관과 과목으로 확산될 수 있음
• 채점자가 더 많은 과제를 평가할수록 채점 품질이 하락하는 패턴이 나타남
• Wang에 따르면 A, B, C, D, E로 시작하는 성의 학생은 무작위 순서로 채점받을 때보다 100점 만점 기준 0.3점 더 높게 받고, 알파벳 뒤쪽 성의 학생은 0.3점 더 낮게 받음

역순 채점에서 드러난 반대 효과

• 약 5%의 채점자는 Z에서 A 순서로 채점함
• 이 경우 격차는 예상대로 반대로 나타남
  • A-E 성의 학생은 불리해짐
  • W-Z 성의 학생은 무작위 채점 때보다 더 높은 점수를 받음
• 이 관찰은 초기 점수 격차의 원인이 성 자체가 아니라 채점 순서라는 해석을 강화함

작은 점수 차이가 만드는 학생 영향

• 0.6점 차이는 작아 보일 수 있지만, 학생의 과목 GPA에 영향을 줌
• GPA 변화는 각 학생의 진로 기회에도 부정적 영향을 줄 수 있음
• Wang은 채점자에게 무의식적으로 발생한 일이 실제 사회적 영향으로 이어질 수 있다고 말함

연구 아이디어와 피로 요인

• 연구 아이디어는 Wang의 교육기술 연구와 Pei의 인공지능 연구를 논의하는 과정에서 나옴
• Pei는 머신러닝의 기본 작업인 데이터 라벨링도 길고 지루한 순차 작업이지만 무작위화된다는 점에 주목함
• 이 관찰은 Canvas 같은 교육 시스템에서 채점 시간과 성적 격차 사이의 관계를 살펴보는 파일럿 연구로 이어짐
• 장시간 작업에서는 피로가 쌓이고 주의력과 인지 능력이 떨어지기 때문에, 피로가 효과를 만드는 주요 요인 중 하나일 수 있음

제안된 개선책

• Canvas에는 과제를 무작위 순서로 채점하는 옵션이 있고 일부 교육자는 이를 사용함
• 하지만 Canvas와 다른 온라인 학습관리시스템의 기본 모드는 알파벳 순서임
• 가장 간단한 해결책은 무작위 순서를 기본 설정으로 바꾸는 것임
• 학술 기관에는 다음과 같은 대안도 제안됨
  • 대형 강의에 더 많은 채점자 고용
  • 채점 업무를 더 많은 사람에게 분산
  • 채점 중 편향을 인식하고 줄이도록 훈련 제공

[GN⁺]

Hacker News 의견들

• 학계에서 일함. 시험 채점 때 답안지 더미 순서는 교실에서 걷힌 순서이고, 보통 한 방에 5명이 모여 각자 특정 문제만 맡아 일관성을 맞춤
  각자 더미를 집어 자기 문제가 아직 채점되지 않은 답안지를 찾아 빼내다 보니 답안지는 많이 섞이고, 실제 채점 순서는 거의 무작위로 봐도 됨
  반면 학기 중 주간 과제는 저장소에 커밋되는데, 학생별 폴더가 이름 첫 글자로 시작함. 공정성을 위해 매주 채점 순서를 섞어야 한다는 데 모두 동의했음. 초반에는 덜 피곤하고, 마지막 2개쯤에서는 곧 끝난다는 생각에 기분이 나아지며, 특히 초반에는 흔한 오류를 아직 다 보지 못해 감을 못 잡고 놓치다가 뒤쪽 제출물에서는 바로 잡아내게 됨
  또 다른 알파벳 효과로, 초등학교 때 반 명단 맨 위에 있어서 박물관 단체표 들기, 무언가 기록하기, 아무도 먼저 하기 싫은 일을 모두가 보는 앞에서 처음 하기, 체육 평가를 맨 먼저 받기 같은 일을 자주 맡았음. 꽤 수줍은 아이였어서 1학년 때부터 짜증났음

  • 내 전략은 말한 것처럼 문제별 채점을 하는 것이었음. 각 문제마다 먼저 만점 답안을 찾고, 나머지는 어떤 실수를 했는지에 따라 더미로 묶었음
    이렇게 하면 같은 실수를 한 학생들이 같은 점수를 받게 됨. 문제를 하나 끝낼 때마다 답안지 순서도 자연스럽게 섞이는 편임
    단순 객관식에는 필요 없고 긴 에세이에도 잘 맞지 않겠지만, 컴퓨터 과학과 보안 분야의 기술적 단답형 문제에는 아주 잘 맞았음
  • 교사인 친구는 항상 더미를 두 번 봄. 첫 번째는 모든 실수를 고치고, 두 번째는 점수를 적음
    모든 실수를 한 번 본 뒤라야 그 실수가 실제로 얼마나 나쁜지 판단할 수 있다는 점 때문임
  • 2000년쯤 당일 제출 에세이를 깜빡했고, 아침 조회 전 컴퓨터실에서 10분 정도밖에 없었음. 서론과 결론을 쓴 뒤 나머지는 둘을 복사해 붙여넣기로 채웠음. 적어도 웃기긴 하겠지 싶었고, 누가 읽기만 했다면 말도 안 되는 글이라는 게 분명했을 것임
    그런데 아무 메모나 표시 없이 80% 를 받았음
    지난 25년 동안 학생 과제가 실제로 얼마나 검토되는지 계속 궁금했음
    EdTech에서 일하는데, 학생 작업물에 대한 수동 교사 검토가 필요한 기능을 추가할 때마다 어떤 교사는 매우 성실하고 어떤 교사는 아예 건드리지 않는다는 게 보임
  • 이 스레드의 모든 방식은 결국 누가 불공정한 채점을 받을지를 무작위화할 뿐임
  • 에세이 과제나 에세이형 시험 채점에서는 개별 채점 전에 전체 글쓰기 수준의 감을 잡는 것이 중요하고, 더미의 처음이나 끝에서 과대·과소 채점하지 않도록 해야 함. 그래서 세 가지 색 펜으로 3단계 채점을 했음
    첫 번째 빨간 펜은 철자 오류나 명백한 용법 오류 같은 단일 지점 문제를 표시함. 이 과정에서 전체 글쓰기 수준도 자연스럽게 들어오고, 모든 글을 빠르게 훑을 수 있음
    두 번째 초록 펜은 좋은 논점이 나오거나 결론에 도달한 곳을 주로 여백에 표시해 다음 단계 준비를 함. 이 역시 모든 글에 적용함
    세 번째 파란 펜에서 글의 질을 평가하고 비평함. 여백에 짧은 메모를 남기거나 에세이 끝에 코멘트를 달기도 함
    학생들이 예쁜 색깔들을 보고 웃기도 하지만, 방법과 이유를 설명하면 명확히 이해했고 아마 고마워하기도 했던 듯함

• 관련이 있을 수도 없을 수도 있지만, 80년대와 90년대 초 K-12 학교에 다닐 때는 항상 성 기준 알파벳순으로 앞에서 뒤까지 앉혔음. A-D쯤으로 시작하는 아이들은 늘 앞, U-Z쯤은 늘 뒤였고 모든 수업이 그랬음
  내 친구들 중 성이 내 성 근처인 경우가 많았던 것도 항상 가까이 앉았기 때문이라 기억함. 고등학교쯤 되자 A-D 성을 가진 고성취 학생이 확실히 더 많고, U-Z 쪽에 문제아가 더 많았던 듯함
  교사와 가까이 앉고 관심을 더 받은 결과였을까? 실험도 아니고 통제군도 없었으니 알 수 없음

  • “가까이 앉는 학생이 성취도가 높다”는 현상은 안경 쓴 사람들에 대한 고정관념의 상당 부분도 설명할 수 있음. 내가 약한 근시라는 걸 깨닫는 데 몇 년이 걸렸고, 학교 전반기에는 칠판을 읽기 편하려고 교실 앞쪽 절반에 앉았음
    내 친구들 중에도 안경 쓴 아이가 많았고, 안경이 시력을 완전히 교정해주지 않아 앞자리를 선호했음
  • 지금은 교사인데, 이 얘기를 보니 움찔함. 부모님이 학교 다닐 때 인도에서 60~80년대에 좌석 배정이 딱 이랬다고 들었음. 다만 채점은 반쯤 익명화된 출석번호로 했다고 함
  • 순환 이동이 간단한 해법임. 우리 고등학교에서는 월요일마다 모든 줄이 한 칸씩 앞으로 가고 맨 앞줄은 뒤로 갔음
    물론 1주차에 앞에서 시작한 학생들이 여전히 이점이 있었다고 할 수는 있지만, 아마 그렇게 크지는 않았을 것임

• 내 이니셜이 Z와 W라서 알파벳 정렬을 자주 의식함. 이니셜이 A와 B인 친구에게 물어보니 전혀 의식해본 적이 없다고 했음
  채점이나 순위 차이는 느끼지 못했지만, “네 차례가 오기 전에 물건/시간 등이 다 떨어졌다”는 말을 훨씬 자주 들었고, 그래서 계획과 조직의 문제에 훨씬 민감해졌음

  • 어릴 때 구슬치기가 유행이었고, 수업 중에 구슬을 가지고 놀면 교사가 큰 유리병에 넣었음. 병이 차면 아이들을 불러 각자 한 줌씩 돌려줬음
    나는 알파벳 맨 마지막이었고, 이미 읽을 책을 고를 때도 문제였음. 책을 선택할 수 있었지만 항상 알파벳순이라 내 차례가 오면 몇 권만 남고 인기 많은 책은 다 사라졌음
    구슬을 받을 차례가 드디어 왔을 때도 다 떨어졌음. “내 구슬은 어디 있어요?”라고 묻자 교사는 어깨를 으쓱하며 “다 떨어졌어”라고 했음. 아마 7살쯤이었고 많이 울었고 다른 아이들에게서 구슬을 좀 받았던 것 같지만, 사실 구슬 자체가 핵심은 아니었음
    이런 결과 말고 다른 걸 어떻게 기대할 수 있는지 아직도 이해가 안 됨
  • 대부분의 불평등처럼, 혜택을 받는 쪽은 그 특권을 자주 깨닫지 못함
  • 4학년이나 5학년 때 재미있는 일이 떠오름. 반이 줄을 설 때 항상 성 기준으로 정렬했는데, 내 성은 북유럽 알파벳의 마지막 글자인 Ö로 시작해서 늘 맨 뒤였음
    어느 날 교사가 “오늘은 순서를 뒤집자, 그런데 이름 기준으로도 정렬하자”는 식으로 말했음. 내 이름은 A로 시작해서 결국 또 맨 뒤가 되었고, 모두가 크게 즐거워했음
  • 문화적 짐이 덜한, 특권을 가진 사람이 자신이 특권을 받는다는 사실을 자주 알아차리지 못하는 좋은 예처럼 보임. 친구에게는 정상적이고 공정해 보였던 것이 실제로는 고려조차 하지 않은 이점이었음
  • 학교 밖에서는 내 이름이 알파벳순으로 정렬된 경우가 단 한 번도 떠오르지 않음. 가운데 이니셜도 있는데, 이런 일이 자주 생기는 상황이 어떤 건지 궁금함

• 우리 대학에서는 거의 모든 채점이 가명 처리됐음. 매년 초 무작위 수험번호를 받았고, 중요한 과제나 시험에는 그 번호를 적었음
  덜 중요한 수업 과제는 이렇게까지 하지 않고 학번을 쓰는 경우가 많았지만, 기본 아이디어는 같았음
  논문과 전체 성적에 영향 없는 사소한 과제 몇 개를 제외하면 이름을 쓰지 않았음. 익명 해제가 그렇게 어렵지는 않았지만, 시스템에 약간 더 무결성을 줬음
  구현하기 아주 간단한 방식인데 왜 더 자주 쓰이지 않는지 모르겠음
  우리 가상학습환경도 어떤 식별자보다 제출 시간순으로 과제를 정렬했던 것 같음

  • 여기서 가능한 결과는 학생과 관련된 방식으로 점수를 낮추는 대신 그냥 무작위로 낮추는 것 아닐까? 문제가 정렬이라면 무작위 수험번호도 여전히 정렬될 수 있음
    개인에 대한 편향은 해결하지만, 제출물이 정렬되는 방식과 관련된 편향은 해결하지 못함
    무작위 식별자와 무작위 정렬 순서를 함께 쓰는 게 맞아 보임
  • 대학 시험에는 꽤 타당해 보임. 시험은 시험이고, 학생이 말을 잘하거나 수업에 적극적으로 참여하는지는 시험 점수와 무관해야 함
    다만 블라인드 컨퍼런스 제안서가 좋은 생각인지는 덜 확신함. 과거 경험상 어떤 사람이 거의 확실히 홈런을 칠 걸 안다면, 같은 주제에서 뚜렷한 자격이 없는 무작위 사람을 고르는 데 덜 끌림. 물론 위원회 친구만 고르는 건 분명 지나칠 수 있음
  • 그런 수업을 들은 적이 있음. 학기 초에 각 학생에게 임의처럼 보이는 형식의 사용자 이름을 배정하고, 이후 모든 참여가 그 사용자 이름 기반으로 이뤄졌음
    사용자 이름이 겉보기에는 무작위여도 수업 토론 게시판에서 특정 이름들이 평판을 얻기 시작했고, 학생들도 일부 이름을 알아보게 됨
    다만 컴퓨터 과학 과목은 채점 기준이 매우 객관적인 편이라 익명성이 얼마나 중요했는지는 잘 모르겠음
  • 교사가 내가 누구인지 알 때 피드백을 더 잘 받는 것 같음. 점수는 부차적임
  • 핵심은 Canvas 같은 자동화 시스템이 이름을 숨겨도 여전히 알파벳순으로 표시할 수 있다는 것임. 가명을 써도 섞지 않으면 도움이 안 됨

• “간단한 해결책은 무작위 순서를 기본값으로 만드는 것”이라지만, 고쳐진다는 의미가 편향이 무작위가 된다는 뜻임. 아마 마지막에 채점되는 학생은 여전히 낮은 점수를 받을 것임

  • 이상적이지는 않지만, 과제마다 다시 무작위화한다면 현재보다 나아짐. 적어도 계속 불이익을 받는 대신 가끔만 불이익을 받게 되기 때문임
  • 성적에는 더 큰 영향을 주는 다른 요소도 있음. 예컨대 자료를 이해했는지, 해법을 제시할 능력이 있는지 같은 것임. 여러 댓글이 이걸 일부 학생에게 매우 큰 편향처럼 받아들이는 듯해서 하는 말임
    튜터 경험상 이 편향은 분명 존재함. 하지만 완전히 틀린 해답이나 매우 훌륭하게 맞는 해답을 다른 것으로 바꾸지는 못함
    나중에는 어려워하는 학생과 잘하는 학생을 알게 됐음. 잘하는 학생이 틀렸다면 뭔가 큰일이 난 것이므로 먼저 대충 훑고, 어려워하는 학생들의 문제를 본 뒤, 나머지를 받은 순서대로 채점하고 마지막에 어려워하는 학생과 잘하는 학생을 봤음. 최악의 답안들이 실제로 얼마나 나쁜지 보려면 기준선이 필요했음. 어떤 과제지는 우연한 모험 같았다고 할 수 있음
    이렇게 쓰니 완전히 냉정하고 차갑게 들리지만, 연습문제에서 하위 3분의 1에 집중하고 그들이 어디서 막히는지 조교와 교수에게 전달하는 것은 모두에게, 특히 그 학생들에게 매우 도움이 됐음. 중요한 기초를 제대로 잡게 해줌
  • 대학 생활 전체로 보면 평균화될 것임. 반대로 알파벳순이 유지되면 체계적으로 불이익을 받게 됨

• 몇 달 전 처음 채점을 해봤을 때 나도 이걸 느꼈음
  처음 채점한 답안들은 특정 실수를 하지 않았거나 예상한 방식으로 답했는데, 나중에 예상 밖 답변이나 실수를 만나면 이미 채점한 답안의 점수를 다시 생각해야 했음. 예를 들어 누군가의 답 때문에 내가 틀렸다고 본 답이 실제로는 덜 틀렸다고 느껴지는 경우가 있었음
  소규모 수업이라 되돌아가기가 가능했고, 제출된 순서가 이미 어느 정도 섞여 있어서 그렇게 채점했지만, 아니었다면 분명 편향이 생겼을 것임

  • 프로그래밍 프로젝트를 채점할 때 특히 이걸 느꼈음. 조금 복잡하기 때문임
    어떤 버그가 매우 흔하다는 걸 몇 번 보고 나서야 재평가하게 되고, 알고 보니 쉽게 할 수 있는 실수였음
    또는 처음에는 몰랐던 새 버그가 꽤 흔하다는 걸 발견하기도 했음. 그러면 테스트를 업데이트하고 모두에게 다시 돌려야 했음
    나는 꽤 철저하게 하려 했고 결국 전체 더미를 다시 보곤 했지만 정말 고통스러웠음. 대충 할 수도 있었겠지만 학생들이 몇 주를 들인 작업이니 정직한 피드백을 줘야 한다고 느꼈음
    그러다 보니 채점이 더 관대해지는 경향도 있었음. 게으르게 몇 가지 버그만 확인하면 각 문제마다 많은 점수를 깎게 되는데, 예상한 버그에 우연히 걸린 학생들에게는 공정하지 않음. 모든 버그를 찾으면 모두의 점수를 망치지 않기 위해 버그 하나당 몇 점만 깎을 수밖에 없음
  • 제출 순서대로 채점하는 것도 다른 편향을 도입함
    나도 같은 상황이고 똑같이 하긴 함. 손으로 진짜 무작위 정렬을 할 자신이 없어서, 제출 순서가 주는 매우 약한 무작위성에 기대는 것임

• 우리 아이들의 성이 그렇게 된 이유가 사실상 이 때문임
  내 성은 E로 시작하고 아내의 성은 Y로 시작함. 전통과 달리 결혼할 때 아내는 성을 바꾸지 않았고, 아이들이 태어났을 때 어떤 성을 줄지 정해야 했음. 우리는 하이픈 성을 선택했음
  역사적으로 하이픈 성은 여성의 성-남성의 성 순서였음. 하지만 아내는 자라면서 자기 성이 알파벳 끝쪽인 걸 싫어했음
  그래서 다시 전통을 깨고 내 성을 앞에 두어, 알파벳순 정렬 시 아이들이 앞쪽에 오도록 했음. 덧붙여 아이들의 이름도 A와 B로 시작해서 이름순 정렬에서도 앞쪽에 나옴

  • 나는 항상 끝쪽에 있어서 교사에게 관심을 덜 받는 게 좋았음. 데이터가 단지 상관관계만 보여준다면, 우리 끝쪽 사람들이 압박을 덜 받았기 때문이라고도 설명할 수 있음
  • “전통을 깨고 결혼할 때 성을 바꾸지 않았다”고 했지만, 90년대보다 이전에 결혼한 게 아니라면 90년대 중반 이후로는 딱히 전통을 깬다고 부르기 어렵다고 봄
    정말 전통을 깨고 싶다면 결혼하지 말고 그냥 같이 살면서 아이를 낳으면 됨
    결국 결혼만큼 전통적인 것도 없지 않나?
  • 라틴아메리카 국가들과 스페인에서는 부계 성이 먼저 오고 그다음 모계 성이 옴

• 내 성은 알파벳 끝쪽 글자로 시작해서 이런 일을 항상 알아차림. 올해 있었던 일로, 아들이 장기 프로젝트에 대해 교사의 지속적 피드백이 필요한 고등학교 수업을 듣고 있음
  교사는 성 기준 알파벳순으로 프로젝트를 검토하는데, 약 40% 는 반의 아래쪽까지 못 가고 문제가 있으면 방과 후에 찾아오라고 함. 하지만 프로젝트 특성상 교사의 선제적 코멘트가 꼭 필요함
  그래서 아들에게는 문제가 없어도 교사를 찾아가 선제 검토를 받으라고 하지만, 모든 아이가 그렇게 하지는 않고 그 결과 낮은 점수를 받을 가능성이 생김

• Helen Wang이 왜 이걸 연구 주제로 골랐는지 궁금함

• 정렬의 심각한 의도치 않은 결과가 떠오름
  배고픈 판사 효과 [1]와 비슷함. 판사들이 휴식 전에는 더 엄격하고 휴식 후에는 더 관대해지는 경향이 있다는 효과임
  [1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect

  • https://nautil.us/impossibly-hungry-judges-236688/

    우리는 이 발견을 기각해야 한다. 단순히 불가능하기 때문이다. 효과 크기가 얼마나 불가능할 정도로 큰지 해석해보면, 심리학을 조금만 이해하는 사람도 이 데이터 패턴이 심리적 메커니즘으로 인해 생겼다는 것은 불가능하다고 결론낼 수 있어야 한다. 심리학자로서 우리는 이 발견을 가르치거나 인용해서는 안 되고, 의사결정의 심리적 편향 사례로 정책 결정에 사용해서도 안 된다.