학술지의 정정 정책이 문제의 핵심임
저널이 저자 본인이 직접 정정을 요청해야만 수정이 가능한 구조라면, 그것은 정정 절차가 아니라 ‘불만 접수 시스템’에 불과함
의학계는 탈리도마이드 사태 이후 이런 구조의 위험성을 뼈저리게 배웠는데, 경영학계는 그 교훈을 무시한 듯함
학술지는 진리의 원천이 아니라 단순히 큐레이션된 출판물임
아인슈타인의 논문이나 Principia Mathematica도 오류가 있지만, 여전히 참고할 수 있음
잘못된 논문은 시간이 지나면 자연스럽게 인용이 줄어듦
문제는 사람들이 여전히 저널을 절대적 권위로 믿는다는 점임
논문에 오류가 있다면, 다른 연구자가 별도의 ‘comment’ 논문을 통해 반박할 수 있음
원문 저자나 편집자가 이에 동의할 필요는 없고, 독립적인 리뷰를 거침
이런 정책은 자원봉사 중심의 운영 구조에서 비롯된 것임
편집위원들이 대부분 무급 자원봉사자이기 때문에, 타인의 논란에 휘말리는 걸 피하려 함
그래서 “저자는 자기 논문에 책임을 지고, 문제 제기자는 별도 논문을 써라”라는 방침이 생긴 것임
의학계도 사실 완전히 교훈을 얻지 못했음
세멜바이스가 동료 의사들의 자존심 때문에 정신병원에 갇혔던 것처럼, 지금도 피로 누적이나 오진 등으로 수많은 환자가 피해를 입고 있음
최근엔 모유 수유 중 아편 노출 논문이 철회되었는데, 이 논문이 아동 양육권 판결에까지 영향을 미쳤다는 점이 충격적임 관련 기사
학계에 몸담았던 입장에서, 경영대학 연구의 질이 종종 놀라울 정도로 낮다고 느꼈음
근거가 부족하거나 명백히 틀린 경우가 많고, 때로는 저자들이 그걸 알면서도 대중을 의식해 쓰는 듯한 인상임
어젯밤 John Kay 교수의 강연을 들었는데, 그는 1970년대 이후 ‘책임으로서의 경영’이 ‘보상의 리더십’으로 바뀐 점을 비판했음
또 경영대학이 진지한 학문적 기반을 만들지 못한 채, 대학의 현금창출 수단으로 전락했다고 지적했음
이런 문제는 경영학만의 일이 아님
경영학 논문은 종종 사후 합리화(post hoc rationalisation) 냄새가 남
내 학교는 추가 인증을 받기 위해 교수들에게 논문 출판 의무를 부과했음
‘출판 아니면 퇴출’이라는 말 그대로임
하지만 이는 Goodhart의 법칙의 전형적인 사례임 — 측정이 목표가 되는 순간, 그 측정은 의미를 잃음
왜 고액 연봉의 행정가들이 이걸 이해하지 못하는지 의문임
좋은 측정에는 좋은 사람이 필요함
논문을 직접 읽고 평가할 수 있는 지성 있는 교수가 필요하지, 기계적인 점수 계산은 근본적으로 잘못된 접근임
행정팀이 외부 압력 때문에 성과 지표를 만들어야 했던 것 같음
그래서 옆 학교가 쓰는 지표를 그대로 베껴온 듯함
“학부 비즈니스 교수진”이 정확히 뭘 의미하는지 궁금함 — 학부생을 가르치는 교수인지, 조교인지?
“저자만 정정을 요청할 수 있다”는 정책은 말이 안 됨
자신의 실수를 공개적으로 인정할 연구자가 얼마나 되겠음? 비윤리적 연구자라면 절대 그렇게 하지 않을 것임
의심스러운 결과를 바로잡는 올바른 방법은 후속 연구를 통해 더 나은 데이터와 방법으로 재검증하는 것임
여러 독립된 연구팀이 같은 주제를 다루고, 그 결과를 모아 메타분석(meta-analysis) 을 하는 게 과학적 합의의 형성 방식임
물론 단순한 오류인지, 사기나 근본적 결함인지에 따라 다름
하지만 대부분의 경우 철회보다는 후속 연구가 더 적절함
다만 이번처럼 논문이 과학자가 아닌 일반인에게 인용되는 경우엔, 합의 형성이 어렵다는 문제가 있음
블로그에 등장하는 “Andrew”가 누구인지 혼란스러웠음
저자 목록엔 Andrew Gelman이 있지만, 링크 슬러그는 “aking”이라서 Andrew King일 수도 있음
Hacker News 의견들
학술지의 정정 정책이 문제의 핵심임
저널이 저자 본인이 직접 정정을 요청해야만 수정이 가능한 구조라면, 그것은 정정 절차가 아니라 ‘불만 접수 시스템’에 불과함
의학계는 탈리도마이드 사태 이후 이런 구조의 위험성을 뼈저리게 배웠는데, 경영학계는 그 교훈을 무시한 듯함
아인슈타인의 논문이나 Principia Mathematica도 오류가 있지만, 여전히 참고할 수 있음
잘못된 논문은 시간이 지나면 자연스럽게 인용이 줄어듦
문제는 사람들이 여전히 저널을 절대적 권위로 믿는다는 점임
논문에 오류가 있다면, 다른 연구자가 별도의 ‘comment’ 논문을 통해 반박할 수 있음
원문 저자나 편집자가 이에 동의할 필요는 없고, 독립적인 리뷰를 거침
편집위원들이 대부분 무급 자원봉사자이기 때문에, 타인의 논란에 휘말리는 걸 피하려 함
그래서 “저자는 자기 논문에 책임을 지고, 문제 제기자는 별도 논문을 써라”라는 방침이 생긴 것임
세멜바이스가 동료 의사들의 자존심 때문에 정신병원에 갇혔던 것처럼, 지금도 피로 누적이나 오진 등으로 수많은 환자가 피해를 입고 있음
최근엔 모유 수유 중 아편 노출 논문이 철회되었는데, 이 논문이 아동 양육권 판결에까지 영향을 미쳤다는 점이 충격적임
관련 기사
학계에 몸담았던 입장에서, 경영대학 연구의 질이 종종 놀라울 정도로 낮다고 느꼈음
근거가 부족하거나 명백히 틀린 경우가 많고, 때로는 저자들이 그걸 알면서도 대중을 의식해 쓰는 듯한 인상임
또 경영대학이 진지한 학문적 기반을 만들지 못한 채, 대학의 현금창출 수단으로 전락했다고 지적했음
내 학교는 추가 인증을 받기 위해 교수들에게 논문 출판 의무를 부과했음
‘출판 아니면 퇴출’이라는 말 그대로임
하지만 이는 Goodhart의 법칙의 전형적인 사례임 — 측정이 목표가 되는 순간, 그 측정은 의미를 잃음
왜 고액 연봉의 행정가들이 이걸 이해하지 못하는지 의문임
논문을 직접 읽고 평가할 수 있는 지성 있는 교수가 필요하지, 기계적인 점수 계산은 근본적으로 잘못된 접근임
그래서 옆 학교가 쓰는 지표를 그대로 베껴온 듯함
“저자만 정정을 요청할 수 있다”는 정책은 말이 안 됨
자신의 실수를 공개적으로 인정할 연구자가 얼마나 되겠음? 비윤리적 연구자라면 절대 그렇게 하지 않을 것임
의심스러운 결과를 바로잡는 올바른 방법은 후속 연구를 통해 더 나은 데이터와 방법으로 재검증하는 것임
여러 독립된 연구팀이 같은 주제를 다루고, 그 결과를 모아 메타분석(meta-analysis) 을 하는 게 과학적 합의의 형성 방식임
하지만 대부분의 경우 철회보다는 후속 연구가 더 적절함
다만 이번처럼 논문이 과학자가 아닌 일반인에게 인용되는 경우엔, 합의 형성이 어렵다는 문제가 있음
블로그에 등장하는 “Andrew”가 누구인지 혼란스러웠음
저자 목록엔 Andrew Gelman이 있지만, 링크 슬러그는 “aking”이라서 Andrew King일 수도 있음
“내 동료 Andy King으로부터 들은 이야기”라는 문장이 있음
사실과 가치 판단이 일치한다고 주장하는 연구는 항상 의심스러움
현실은 우리의 가치와 무관하게 존재하므로, 둘이 일치한다면 오히려 경계해야 함
사람마다 가치가 다르고, 국제화된 사회에서는 더욱 그렇기 때문임
증거가 검증되기 전까지는 모든 결과에 동등한 회의적 태도를 가져야 함
“그 논문 덕분에 수많은 학생들이 커리어를 시작했는데, 그 기쁨을 빼앗지 말라”는 농담 섞인 반응도 있었음
해당 페이지에 구체적 사실관계가 있는지 궁금했음
“논문에 기술된 방법이 실제 사용된 방법과 다르다”는 말 외엔 설명이 부족했음
대부분의 학계 반응은 “경영학 저널이라면 당연히 그럴 줄 알았다”일 듯함
SSRN 링크
과학 출판에도 GitHub 같은 인프라가 있었으면 좋겠음
논문을 비공개 저장소로 관리하다가 출판 시 공개하고, 오류는 issue로 기록하며, 리뷰 상태를 배지(badge) 로 표시하는 시스템을 상상함