- 최근 AI 도구들이 연구 논문에서 계산, 방법론, 참고 문헌의 오류를 찾아내고 있음
- 지난해, 검은색 플라스틱 조리기구에 암을 유발하는 화학물질이 포함되어 있다는 연구 결과가 보도됨
- 하지만 연구의 수학적 오류로 인해 실제 화학물질 농도가 안전 한계치보다 10배 낮았음이 밝혀짐
- 인공지능(AI) 모델이 이 오류를 몇 초 만에 발견할 수 있었음
AI 기반 연구 논문 오류 탐지 프로젝트
Black Spatula Project
- 오픈소스 AI 도구로 약 500개의 논문을 분석해 오류를 탐지
- 콜롬비아의 독립 AI 연구원 Joaquin Gulloso가 프로젝트를 조율하고 있으며, 8명의 개발자와 수백 명의 자문단이 참여 중
- 오류 목록은 공개되지 않았으며, 오류 발견 시 연구자에게 직접 연락해 수정 유도 중
YesNoError
- Black Spatula Project에서 영감을 받아 시작된 프로젝트
- 창립자이자 AI 기업가인 Matt Schlicht가 주도
- 전용 암호화폐로 자금 지원받아 운영
- 현재까지 약 37,000개의 논문을 두 달 만에 분석 완료
- 오류가 발견된 논문은 웹사이트에 표시되지만, 대부분은 아직 전문가 검증 전 상태
- 장기적으로는 ResearchHub(암호화폐로 박사 연구자에게 보상)와 협업해 오류 검증 계획
연구자 및 저널에 AI 도구 사용 장려
- 연구자가 논문 제출 전, 저널이 논문 게재 전 AI 도구를 사용해 오류 사전 탐지 유도
- 오류 및 연구 부정 방지를 통해 과학적 신뢰성 강화 기대
학계의 반응 및 우려
- 연구 무결성 전문가들은 프로젝트에 신중하게 긍정적 반응
- 틸뷔르흐 대학교의 Michèle Nuijten 연구원은 다음과 같은 우려 제기:
- AI 도구의 정확도가 명확히 검증되지 않으면, 오류 지적이 잘못될 경우 평판 손상 우려
- 린네 대학의 법의학적 메타과학자 James Heathers는 다음과 같이 지지 발언:
- "형편없는 논문을 철회하는 것보다 작성이 훨씬 쉽다"
- AI가 논문을 선별하고 추가 검토를 유도하는 데 유용할 수 있음
AI 도구의 작동 방식
- 대형 언어 모델(LLM) 사용해 논문의 오류 탐지
- 논문에서 표, 이미지 등 정보를 추출 후 복잡한 명령어(프롬프트) 생성
- AI 모델이 여러 번 논문을 분석해 다양한 유형의 오류 탐색 및 결과 교차 검증 수행
- 논문 분석 비용: 논문 길이 및 프롬프트 복잡도에 따라 15센트~수달러 수준
오탐(False Positive) 문제
- Black Spatula Project → 약 10%의 오탐 발생
- 모든 오류는 전문가 검증 필요 → 전문가 부족이 가장 큰 병목 현상
- YesNoError → 10,000개 논문 중 수학적 오류 100개 검증 결과 90% 이상이 실제 오류로 확인됨
- YesNoError는 오탐률 감소 작업 중이며, 학계와 지속적 피드백 수용 중
오탐 문제에 대한 비판
- 린네 대학의 Nick Brown 연구원:
- YesNoError가 분석한 40개 논문 중 14개에서 오탐 확인 → 주로 글쓰기 문제
- 사소한 오류로 인해 학계에 불필요한 부담 발생 가능성
- "기술이 대폭 개선되지 않는 한, 명백한 이득 없이 많은 작업이 필요할 것"
AI 도구의 향후 과제 및 기대
- YesNoError는 암호화폐 보유자가 검토할 논문을 우선 결정하는 방식 도입 계획
- 정치적으로 민감한 주제(예: 기후 과학) 논문이 타겟이 될 가능성 존재
- Brown 연구원: "AI 도구가 진짜 효과를 보인다면, 특정 연구 분야에서 큰 변화가 일어날 수 있음"