▲

인용이 많은 논문에서 허위 주장과 수정 부재, 그리고 학계의 무대응

 (statmodeling.stat.columbia.edu)
1P by GN⁺ 4시간전 | ★ favorite | 댓글 1개
  • 지속가능성 높은 기업의 성과 우위를 주장한 Management Science 논문이 실제와 다른 분석 방법을 사용했음에도, 정정이나 제재 없이 유지되고 있음
  • 문제 제기자인 Andy King의 시정 요청에도 불구하고, 저널과 여러 대학, 연구윤리 기관이 책임 회피와 무대응으로 일관함
  • Andrew Gelman은 이 사례를 포함해 학계의 제재 부재와 자기보호적 구조를 비판하며, 풍자적으로 “Second Chance U” 라는 가상 대학을 제시함
  • 블로그 댓글에서는 공개 비판의 누적 효과, AI 도구 활용, 논문 오류 지적 절차의 체계화, 대안 플랫폼 구축 등이 활발히 논의됨
  • 이번 사건은 연구 부정행위에 대한 학계의 구조적 무력함과 재현성·책임성 강화의 필요성을 드러낸 사례로 평가됨

인용이 많은 논문에서의 허위 주장과 수정 부재 사례

  • Management Science에 게재된 논문이 “지속가능성이 높은 기업이 장기적으로 더 높은 주식시장 및 회계 성과를 보인다”고 주장했으나, 실제 사용된 분석 방법이 논문에 기술된 방법과 달랐음
    • 이 논문은 매년 약 2,000회 인용되며, 2006년 이후 해당 저널에서 가장 많이 인용된 논문으로 투자 실무와 공공정책에 영향을 미침
    • 저자들은 2년간의 압박 끝에 잘못된 방법 기술을 인정했지만 정정(corrigendum) 제출을 거부함
  • Andy King은 문제를 제기하며 여러 기관에 시정 조치를 요청했으나, 대부분의 기관이 책임 회피 또는 무대응을 보였음
    • Management Science는 저자만이 정정을 요청할 수 있다는 정책을 이유로 들었고, King에게는 논평(comment) 제출만 허용했으나 긴 심사 절차를 요구함
    • London Business School은 해당 저자가 분석을 수행하지 않았다는 이유로 위반이 아니라고 주장
    • Harvard Business School은 내부 조사 여부나 결과를 공개하지 않았고, Oxford University는 연구 당시 소속이 하버드였다는 이유로 책임을 회피
    • UK Research Integrity Office는 권한이 없다고 답변
  • Andrew Gelman은 연구윤리 사무소나 대학의 대응에 대해 회의적 입장을 보이며, 과거 여러 사례를 언급
    • 캘리포니아대 교수의 데이터 조작, 코넬대 교수의 연구 사기, 콜럼비아대의 U.S. News 데이터 허위 보고, Rutgers대 교수의 표절 수상 사례 등에서 거의 아무런 제재가 없었다고 지적
    • 기관들이 외부 문제 제기에 무대응하거나, 오히려 문제 제기자를 공격하는 “Lance Armstrong식 대응” 을 보인다고 비판
  • Gelman은 풍자적으로 “Second Chance U” 라는 가상의 대학 설립을 제안
    • 표절, 데이터 조작, 부정행위로 논란이 된 학자들과 유명 인사들을 모은다는 설정이며, 챗봇으로 리포트를 작성하는 것이 장려되는 유일한 대학으로 묘사됨
  • 그는 King의 질문에 “무엇을 더 할 수 있을지 모르겠다”고 답하며, Freakonomics의 부실 과학 보도, ‘인용 1건당 10만 달러 가치’ 주장, 학계의 자기보호적 태도 등을 계속 비판하겠다고 언급
    • 그러나 이러한 비판이 실질적 변화를 이끌지 못하고 있음을 덧붙임

블로그 댓글 토론 요약

  • 연구 부정행위 폭로의 효과와 한계

    • Robin Blythe는 허위 주장 폭로가 장기적으로 채용, 연구비, 기관 평판에 영향을 줄 수 있다고 언급
    • Dale Lehman은 저널의 책임 회피와 평판 손상 무력화를 지적하며, 저자 평판 손상도 실질적 효과가 없을 가능성을 제기
    • Blythe는 공개적 비판이 누적되면 변화가 일어난다며, 내부 절차보다 공공의 압력이 더 큰 영향을 미친다고 강조

  • AI 도구 활용 논의 (Claude, Stan, SAS 등)

    • Dre는 Claude를 이용한 설문 데이터 분석 경험을 공유하며, 코드 생성과 시각화에 유용하다고 평가
    • Anon은 Claude Code와 VSCode 확장 기능을 활용하면 Qualtrics 설문 파일과 사전등록 분석 자동화, Quarto 통합 보고서 작성이 가능하다고 설명
      • Opus 4.6 버전이 약 6주 전에 출시되어 연구자에게 실질적 개선을 제공했다고 언급
    • Dre는 Stan 수학 라이브러리용 LLM 개발 가능성을 언급하며, Stan 모델 복잡도 증가와 관련된 최신 연구 동향에 관심을 표명

  • 문제 논문 대응 방안 제안

    • AAAnonymous는 논문 오류 지적 절차를 체계화한 일반 논문 작성 제안을 제시
      • 저자 → 저널 → 연구윤리 사무국 순으로 연락 단계를 도식화하고, 모든 절차가 실패할 경우 ‘comment on: Eccles et al., 2014’ 형태의 공개 논문 게시를 제안
      • 이러한 플랫폼이 존재하면 저자와 저널에 수정 압박을 가할 수 있음
    • Andy King은 자신의 복제 연구와 반박 논문 링크를 공유하며, Management Science 저널에 직접 코멘트 제출 중이라고 언급
    • AAAnonymous는 King의 복제 연구가 2025년 Journal of Management Scientific Reports에 게재, 이후 원저자 반론과 King의 재반론이 2026년에 출판되었다고 확인
      • 향후 2014년 원 논문 인용 추적을 통해 비판 논문이 함께 인용되는지 분석하면 공식 비판의 실효성을 평가할 수 있다고 제안
      • 이는 철회 논문이 여전히 인용되는 현상과 유사한 문제로 연결될 수 있다고 언급
    • King은 “혼자 수년간 작업해왔다”며 협력 제안을 요청했고, AAAnonymous는 비전문가로서 일반적 관점에서 기여 의사를 표명

  • 동료심사와 학계 구조 비판

    • Kaiser는 Lance Armstrong의 도핑 사례를 비유로 들며, 동료심사(peer review)의 무력화를 지적
      • 검토자들이 논문에 기술된 방법과 실제 결과 불일치를 놓친 것은 심각한 문제라고 비판

  • 학술지 책임과 대안 플랫폼

    • Michael Weissman은 Econ Journal Watch 같은 외부 저널을 통해 공식 정정 및 압박 수단을 마련해야 한다고 제안
    • Andy King은 이에 동의하며 해당 저널에 글을 제출할 계획이라고 밝힘
    • jrkrideau는 PubPeer 게시 제안을 하며, Dorthy Bishop의 분석이 PubPeer가 철회 논문 감시에 효과적임을 보여준다고 언급

  • 연구 부정행위 및 재현성 관련 논의

    • Peter Dorman은 철회 대상 연구의 전반적 진단 연구 필요성을 제기하며, 오류 유형과 탐지 기준 체계화를 제안
    • AAAnonymous는 Steen(2010) 논문을 인용해, 사기 논문 저자들이 높은 IF 저널을 선호하고 공동저자와 재철회 경향이 있다는 데이터를 소개
      • 저널이 저자 이름을 철회 이력과 대조하면 재발 방지 효과가 있을 수 있다고 제안
      • 현재 표절 검사는 일반화되어 있으나, 철회 이력 검증은 부족하다고 지적

  • 학계 불신과 피로감

    • 한 익명 사용자는 비윤리적 연구를 신고할 기관이나 관심 있는 사람조차 없다며, 권력과 부의 불균형 속에서 피로감을 토로

  • 기타 논의

    • Anon Coward는 Marc Hauser와 Jeffrey Epstein의 이메일 교류를 인용하며, Hauser가 부정행위 조사 대응 조언과 사업 자문을 요청했다고 소개
    • Andrew Gelman은 Epstein과 ‘위험 청소년 지원 사업’의 연관성을 지적하며 “끔찍하다”고 반응
    • JeffJ는 DataColada의 폭로 활동을 ‘근거 없는 공격’ 으로 비판했으나, Andrew는 DataColada는 연구 방법론을 다루며 인신공격이 아니다라고 반박
    • Back0는 King의 노력을 “옳은 싸움을 하는 사람” 이라며 감사 인사를 남김

사이트 구성 및 부가 정보

  • 페이지 하단에는 댓글 작성 양식이 포함되어 있으며, 이름·이메일·웹사이트 입력란과 함께 댓글을 남길 수 있는 기능 제공
  • “Leave a Reply” 섹션은 WordPress 기본 댓글 시스템으로 구성
  • 사이트의 주요 카테고리로 Bayesian Statistics, Causal Inference, Economics, Public Health, Sociology, Stan 등 다양한 주제 포함
  • 최근 댓글 목록에는 Andrew, Phil, Sean, Carlos Ungil, jrkrideau, JeffJ 등의 사용자가 남긴 토론이 표시되며, Data Colada 논란, Bayesian 임상시험, 문학 창작 연령, NFL 경기 통계 등 다양한 주제 포함
  • 페이지 맨 아래에는 “Proudly powered by WordPress” 문구가 포함되어 있으며, WordPress 공식 사이트로 연결되는 링크 제공
▲
GN⁺ 4시간전  [-]
Hacker News 의견들

  • 학술지의 정정 정책이 문제의 핵심임
    저널이 저자 본인이 직접 정정을 요청해야만 수정이 가능한 구조라면, 그것은 정정 절차가 아니라 ‘불만 접수 시스템’에 불과함
    의학계는 탈리도마이드 사태 이후 이런 구조의 위험성을 뼈저리게 배웠는데, 경영학계는 그 교훈을 무시한 듯함

    • 학술지는 진리의 원천이 아니라 단순히 큐레이션된 출판물임
      아인슈타인의 논문이나 Principia Mathematica도 오류가 있지만, 여전히 참고할 수 있음
      잘못된 논문은 시간이 지나면 자연스럽게 인용이 줄어듦
      문제는 사람들이 여전히 저널을 절대적 권위로 믿는다는 점임
      논문에 오류가 있다면, 다른 연구자가 별도의 ‘comment’ 논문을 통해 반박할 수 있음
      원문 저자나 편집자가 이에 동의할 필요는 없고, 독립적인 리뷰를 거침
    • 이런 정책은 자원봉사 중심의 운영 구조에서 비롯된 것임
      편집위원들이 대부분 무급 자원봉사자이기 때문에, 타인의 논란에 휘말리는 걸 피하려 함
      그래서 “저자는 자기 논문에 책임을 지고, 문제 제기자는 별도 논문을 써라”라는 방침이 생긴 것임
    • 의학계도 사실 완전히 교훈을 얻지 못했음
      세멜바이스가 동료 의사들의 자존심 때문에 정신병원에 갇혔던 것처럼, 지금도 피로 누적이나 오진 등으로 수많은 환자가 피해를 입고 있음
      최근엔 모유 수유 중 아편 노출 논문이 철회되었는데, 이 논문이 아동 양육권 판결에까지 영향을 미쳤다는 점이 충격적임
      관련 기사

  • 학계에 몸담았던 입장에서, 경영대학 연구의 질이 종종 놀라울 정도로 낮다고 느꼈음
    근거가 부족하거나 명백히 틀린 경우가 많고, 때로는 저자들이 그걸 알면서도 대중을 의식해 쓰는 듯한 인상임

    • 어젯밤 John Kay 교수의 강연을 들었는데, 그는 1970년대 이후 ‘책임으로서의 경영’이 ‘보상의 리더십’으로 바뀐 점을 비판했음
      또 경영대학이 진지한 학문적 기반을 만들지 못한 채, 대학의 현금창출 수단으로 전락했다고 지적했음
    • 이런 문제는 경영학만의 일이 아님
    • 경영학 논문은 종종 사후 합리화(post hoc rationalisation) 냄새가 남

  • 내 학교는 추가 인증을 받기 위해 교수들에게 논문 출판 의무를 부과했음
    ‘출판 아니면 퇴출’이라는 말 그대로임
    하지만 이는 Goodhart의 법칙의 전형적인 사례임 — 측정이 목표가 되는 순간, 그 측정은 의미를 잃음
    왜 고액 연봉의 행정가들이 이걸 이해하지 못하는지 의문임

    • 좋은 측정에는 좋은 사람이 필요함
      논문을 직접 읽고 평가할 수 있는 지성 있는 교수가 필요하지, 기계적인 점수 계산은 근본적으로 잘못된 접근임
    • 행정팀이 외부 압력 때문에 성과 지표를 만들어야 했던 것 같음
      그래서 옆 학교가 쓰는 지표를 그대로 베껴온 듯함
    • “학부 비즈니스 교수진”이 정확히 뭘 의미하는지 궁금함 — 학부생을 가르치는 교수인지, 조교인지?

  • “저자만 정정을 요청할 수 있다”는 정책은 말이 안 됨
    자신의 실수를 공개적으로 인정할 연구자가 얼마나 되겠음? 비윤리적 연구자라면 절대 그렇게 하지 않을 것임

  • 의심스러운 결과를 바로잡는 올바른 방법은 후속 연구를 통해 더 나은 데이터와 방법으로 재검증하는 것임
    여러 독립된 연구팀이 같은 주제를 다루고, 그 결과를 모아 메타분석(meta-analysis) 을 하는 게 과학적 합의의 형성 방식임

    • 물론 단순한 오류인지, 사기나 근본적 결함인지에 따라 다름
      하지만 대부분의 경우 철회보다는 후속 연구가 더 적절함
      다만 이번처럼 논문이 과학자가 아닌 일반인에게 인용되는 경우엔, 합의 형성이 어렵다는 문제가 있음

  • 블로그에 등장하는 “Andrew”가 누구인지 혼란스러웠음
    저자 목록엔 Andrew Gelman이 있지만, 링크 슬러그는 “aking”이라서 Andrew King일 수도 있음

    • “Andrew” 링크를 클릭하면 Gelman의 공식 페이지로 연결되므로, 그가 맞음
    • Andrew King은 처음으로 문제를 제기한 폭로 글의 저자로 보임
      “내 동료 Andy King으로부터 들은 이야기”라는 문장이 있음

  • 사실과 가치 판단이 일치한다고 주장하는 연구는 항상 의심스러움
    현실은 우리의 가치와 무관하게 존재하므로, 둘이 일치한다면 오히려 경계해야 함

    • “현실은 가치와 완전히 직교한다”는 말은 동의하기 어려움
      사람마다 가치가 다르고, 국제화된 사회에서는 더욱 그렇기 때문임
      증거가 검증되기 전까지는 모든 결과에 동등한 회의적 태도를 가져야 함

  • “그 논문 덕분에 수많은 학생들이 커리어를 시작했는데, 그 기쁨을 빼앗지 말라”는 농담 섞인 반응도 있었음

  • 해당 페이지에 구체적 사실관계가 있는지 궁금했음
    “논문에 기술된 방법이 실제 사용된 방법과 다르다”는 말 외엔 설명이 부족했음
    대부분의 학계 반응은 “경영학 저널이라면 당연히 그럴 줄 알았다”일 듯함

    • 하지만 Management Studies는 최상위급 학술지로, 교수 임용에도 영향을 줄 정도로 권위가 있음
    • 첫 번째 링크된 글의 “Research Integrity Offices (Part 1)” 섹션에 자세한 설명이 있음
    • Andrew King이 주장한 내용을 복제 연구(replication study) 로 검증한 논문도 있음
      SSRN 링크

  • 과학 출판에도 GitHub 같은 인프라가 있었으면 좋겠음
    논문을 비공개 저장소로 관리하다가 출판 시 공개하고, 오류는 issue로 기록하며, 리뷰 상태를 배지(badge) 로 표시하는 시스템을 상상함

답변달기