- 연구를 개방적·투명·재현 가능하게 설계하고 공유하면 결과의 도달 범위와 검증 가능성, 재분석 가능성이 커짐
- 유료 논문, 비공개 코드, 접근 불가능한 데이터, 폐기된 소프트웨어는 다른 연구자가 실제 분석 과정을 확인하기 어렵게 만듦
- 부실한 실험 설계와 분석은 오류 있는 발견을 문헌에 쌓이게 하고, 새 연구자가 신뢰할 수 있는 결과를 가려내는 비용을 늘림
- 공개와 재현성에는 추가 작업과 보상 구조의 한계가 있지만, 실수를 일찍 발견하고 연구 신뢰도를 높이는 데 도움이 됨
- 핸드북은 연구 설계, 데이터 분석·보고, 연구 자료 공개를 모듈형 실천법으로 나눠 필요한 부분부터 적용할 수 있게 구성됨
개방성과 재현성이 필요한 이유
- 연구가 개방적·투명·재현 가능한 방식으로 수행되고 공유되지 않으면 연구의 이익이 줄어듦
- 유료 접근만 가능한 출판 경로에 논문이 실리면 연구 결과를 볼 수 있는 사람이 제한되고, 산출물의 잠재적 도달 범위도 작아짐
- 많은 분석은 복잡해서 본문 논문만으로 모든 선택과 절차를 설명하기 거의 불가능함
- 동반 코드가 없으면 다른 사람이 정확히 무엇이 수행됐는지 확신하기 어려움
- 코드가 공개돼도 데이터 접근 불가나 폐기된 소프트웨어 때문에 과거 연구를 재현하거나 재분석하기 어려울 수 있음
- 과거 연구를 쉽게 재분석할 수 없으면 커뮤니티가 다른 분석 경로를 탐색하거나, 데이터셋을 결합하거나, 실험을 새 환경으로 일반화하기 어려워짐
잘못된 연구 관행의 비용
- 실험 설계와 분석에 충분한 주의를 기울이지 않으면 문헌에 오류 있는 발견이 더 많이 쌓일 가능성이 있음
- 신뢰하기 어려운 결과가 많아질수록 새 연구자는 연구 대상을 이해하고 실제 진전을 이루기까지 더 많은 시간을 써야 함
연구자가 공개와 재현성에 소극적인 이유
- 개방적이고 투명하며 재현 가능한 연구에는 추가 작업이 필요하고, 현재의 보상 구조가 항상 이런 노력을 보상하지는 않음
- 다만 여러 분야에서 변화가 일어나고 있으며, 일부 커뮤니티는 이런 노력을 높게 평가함
- 실수의 비용이 클 수 있고, 개방성은 실수를 피하는 데 도움이 됨
- 일부 데이터는 개인정보, 저작권, 기타 고려사항 때문에 합법적으로 공유할 수 없음
- 이런 데이터를 쓰는 연구는 더 개방적인 데이터를 쓰는 연구보다 일반적으로 세계에 덜 유용할 수 있음
- 그래도 수행한 분석, 데이터 수집 프로토콜, 사전 등록 같은 방법을 투명하게 공개하면 연구 신뢰를 높일 수 있음
- 데이터와 코드를 공개하면 실수나 낮은 코딩 품질이 드러날까 봐 걱정하는 경우가 있음
- 이런 걱정은 이해할 수 있지만 대체로 잘못된 방향임
- 오류는 일찍 발견하는 편이 낫고, 대부분의 사람은 코드 품질과 무관하게 공개 자체를 긍정적으로 받아들임
- 처음부터 최종 공개를 염두에 두고 코드를 공유하면 개선에도 도움이 됨
- 어디서 시작해야 할지 모르는 사람도 많음
- 기존 오픈 사이언스와 재현성 가이드는 완전한 책이나 방대한 자료 모음 형태가 많아, 전체 철학과 포괄적 연구 접근을 익히려는 부담이 생길 수 있음
핸드북의 접근 방식
- 이 핸드북은 연구를 한 번에 완전히 바꾸기보다, 여러 방식으로 조금씩 더 개방적·투명·재현 가능하게 만드는 방법을 다룸
- 각 단계는 그 자체로 어느 정도의 이익을 줄 수 있음
- 분야별 뉘앙스와 요구사항은 존재하지만, 데이터와 통계 분석을 다루는 대부분의 영역은 서로 배울 부분이 많음
- 형식은 다음을 지향함
- 모듈형: 개별 아이디어를 따로 쓰거나 조합할 수 있음
- 실용적: 실행 가능하고 영향이 큰 관행에 집중함
- 일반적: 데이터와 통계 분석을 다루는 어떤 분야에도 적용 가능함
- 간결함: 지금 전체 강의를 들을 시간이 없는 바쁜 과학자를 대상으로 함
세 개의 주요 섹션
- 첫 번째 섹션은 결과와 결론이 타당하고 유용하다는 점을 보장하고 보여주기 위한 신중한 연구 설계를 다룸
- 검정력 분석을 사용해 적절한 표본 크기를 추정하는 등 실험 매개변수를 신중히 결정함
- 탐색적 연구와 확인적 연구를 구분함
- 통계 분석을 사전에 계획함
- 과거 연구와 비교 가능하도록 관련 데이터를 모두 수집함
- 사전 등록, 잠재적 문제 대비, 윤리적 함의 고려 같은 추가 요소를 포함함
- 두 번째 섹션은 데이터 분석과 결과 보고의 모범 사례를 다룸
- 데이터를 다루기 전 필요한 결정과 고려사항
- 사전 통계 분석 계획
- 적절한 데이터 생성
- 투명한 데이터 준비
- 정보가 풍부한 데이터 시각화
- 적절한 통계를 활용한 데이터 요약
- 흔한 실수를 피하는 데이터 분석
- 의학 연구를 위한 추가 고려사항
- 투명하고 포괄적인 통계 분석 보고
- 매뉴얼 원칙을 보여주는 출판 문헌 사례
- 세 번째 섹션은 관련 연구 자료를 모두에게 공개하는 방법을 다룸
- Open Data: 추가 연구와 복제를 위해 원시 데이터를 공개함
- Open Source Code: 분석 파이프라인을 투명하게 만들고, 다른 사람이 빌려 쓰거나 검증할 수 있게 함
- Reproducible Environments: 데이터와 코드뿐 아니라 분석을 쉽게 다시 실행할 수 있는 환경을 제공함
- Open Publication Models: 연구와 관련된 학술 산출물을 누구나 볼 수 있게 함
- Documenting Processes and Decisions: 무엇을 어떻게 했는지뿐 아니라 왜 그렇게 했는지도 공개 실험 노트 같은 메커니즘으로 명확히 함
부록 범위
- 부록은 자주 묻는 질문, 분야별 고려사항, 추가 자료 링크 같은 보조 리소스를 다룸