GN⁺: "피어 리뷰" 대신 "피어 복제"로 대체 (2021)
(blog.everydayscientist.com)- 기사는 과학 연구에서 전통적인 동료 심사를 "동료 복제"로 대체하는 아이디어를 논의한다.
- 저자는 현재의 동료 심사 과정이 결함이 있고 중요한 과학적 발견을 전달하는데 중대한 장애물이 될 수 있다고 주장한다.
- 제안된 "동료 복제" 과정은 몇몇 전문가들에게 검토 받는 대신 사전 인쇄물을 다른 연구소에 보내어 결과를 복제하는 것을 포함한다.
- 저자는 논문의 진정한 시험은 실제 세계에서 그 결과를 재현할 수 있는 능력이어야 한다고 제안한다.
- 기사는 현재 독립 연구소가 게재된 결과를 복제하는 것에 대한 동기가 거의 없다는 점을 강조하며, 이는 과학이 이상적으로 운영되어야 하는 방식과는 반대다.
- 제안된 시스템에서는 복제 작업을 수행하는 연구자들이 게재된 논문에 인정을 받게 되어 그들의 노력에 대한 동기를 제공한다.
- 저자는 제출과 출판 사이에 추가 시간이 필요할 수 있고, 고급 과학 기술을 사용하거나 상당한 자원이 필요한 결과를 재현하는 데 어려움이 있을 수 있다는 것과 같은 이 접근법에 대한 잠재적인 도전을 인정한다.
- 저자는 이 과정을 더 실현 가능하게 만들기 위해 이야기의 세부 사항을 제출하고 원고가 아직 준비 중인 동안 복제를 정리하는 것을 제안한다.
- 기사는 Review Commons와 같은 조직이 이 새로운 접근법에 대한 시험을 조직할 수 있으며, 과학자들이 인쇄에서 동료 복제를 보면 전통적인 동료 심사보다 선호하는 방법이 될 수 있다고 제안하여 결론을 내린다.
Hacker News 의견
- 이 기사는 과학 연구에서 현재의 동료 심사 시스템을 "동료 복제"로 대체하는 것을 제안합니다.
- 비평가들은 모든 출판된 논문을 복제하는 것은 상당한 노력과 자원을 필요로 하며, 복제를 수행하는 과학자들에게 이로울 수 없다고 주장합니다.
- 과학 출판물의 목적은 다른 과학자들과 새로운 결과를 공유하여 그들이 작업을 이어가거나 검증할 수 있게 하는 것입니다. 동료 심사 과정은 처음에는 잘못 작성된 논문과 명백한 스팸을 거부하기 위해 설계되었습니다.
- 동료 심사 과정은 복제를 보장하지 않지만 논문의 가독성과 이해 가능성을 보장합니다.
- 일부는 "동료 복제"가 수십억 달러를 들이는 실험에는 비현실적이라고 제안합니다. 대신, 복제된 논문에 대한 메타데이터를 추가하는 것이 더 실행 가능한 접근법일 수 있습니다.
- 컴퓨터 과학과 머신 러닝과 같은 분야에서는 논문의 모호성 때문에 "코드가 없으면 일어나지 않았다"는 접근법을 요구하고 있습니다.
- 일부는 "동료 복제"라는 개념이 잘못 이해되었다고 주장합니다. 이것이 다른 연구실이 일치하는 데이터 세트를 생성하여 결과를 복제한다는 것을 의미한다면, 데이터 수집에 드는 비용과 시간 때문에 실행 가능하지 않다고 봅니다.
- "동료 심사"를 "가독성 심사"와 "복제 가능성 진술"로 나누는 것을 제안하고 있습니다. 후자는 실험을 수행하는 데 사용된 방법론과 전략을 자세히 설명할 것입니다.
- "복제 가능성 심사" 또는 각 논문에 대한 "방법론 지도"를 제출하는 요구사항이 더 현실적인 접근법으로 간주됩니다. 이는 리뷰어와 저자 간의 왕래를 포함하며, 그 목표는 결과를 재현하는 것입니다.
- 일부 비평가들은 결과를 재현하는 데 필요한 중요한 정보가 논문에서 종종 생략되어 특정 과학 방향에 대한 신뢰가 부족하다고 주장합니다.
- "동료 복제"에 대한 감정에도 불구하고, 비평가들은 이것이 항상 실용적이지 않다고 주장합니다, 특히 LIGO, LHC, JWST와 같은 대규모 프로젝트의 경우에는 그렇습니다.