이번 사례는 좀 예외적인 일이긴 하지만.. 논문의 실험을 따라했는데도 재현 안되는 경우는 종종 있는 일입니다. 논문에는 나오지 않는 노하우나 암묵지가 상당히 많거든요. 그리고 "재현이 안된게 맞냐? 안된게 아니라 니네가 못한게 아니냐?" 라는 공격에서 자유롭기가 쉽지 않구요.

만약 모든 그룹에서 재현이 안됐다고 하면 논문 조작이 일찍이 발견됐겠지만, science 기사를 보면 몇몇 그룹은 재현에 성공하고 후속 연구가 이어진듯 합니다.

비유적으로 표현하면, 구글이 인공지능 모델의 API 와 소스코드를 공개해서 다른 그룹이 만져보는데, "왜 우리가 만든 모델은 구글 같은 성능이 안나오는거지? 구글만의 노하우가 있나?" 싶었던 거죠.