MIT, arXiv에 "AI와 과학적 발견, 그리고 제품 혁신"이라는 논문의 철회를 요청함

• 2024년 11월 arXiv에 “Artificial Intelligence, Scientific Discovery, and Product Innovation” 논문의 preprint 게재 이후, 해당 연구의 정확성과 진실성 문제가 제기됨
• MIT는 내부 비공개 조사를 실시했고, 논문의 신뢰성 부족 판단을 내려 공식적으로 arXiv와 The Quarterly Journal of Economics에 철회 요청을 보냄
• MIT 징계위원회(Committee on Discipline) 명의의 공개 서한에 따르면, 논문 데이터의 출처, 신뢰성, 정확성에 대해 전혀 신뢰하지 않으며, 연구 결과 자체에 확신이 없다는 입장임
• arXiv 정책상 저자만이 논문 철회를 요청할 수 있으나, 저자가 요청하지 않아 MIT가 대신 공식 요청하며 논문이 빠른 시일 내에 철회와 함께 명확히 표기되길 원함

논문의 영향과 MIT의 대응

• 프리프린트 논문은 동료 심사(peer review) 를 거치지 않은 연구임
• 해당 논문이 AI와 과학 분야의 학술적 논의에서 상당한 영향을 미치고 있음
• MIT는 논문의 부정확한 내용이 논의에 미치는 부작용을 완화하기 위해 공식 철회를 추진함
• 저자는 더 이상 MIT에 소속되어 있지 않음

연구 진실성의 중요성

• 연구 진실성은 MIT의 핵심 가치로, 학교의 핵심 사명에 해당함
• MIT는 연구 부정행위 문제를 신속하게 대응하기 위해 비공개 절차와 해당 정책을 마련해 운영 중임
• 관련 정책과 절차는 MIT 공식 웹사이트에서 확인 가능함

교수진의 공식 입장

• Daron Acemoglu 교수와 David Autor 교수는 해당 논문에 각주로 언급되었으며, 다음과 같은 공식 성명을 발표함
  • 해당 논문은 경제학과 전 박사과정 2학년 학생의 작품으로, 아직 심사를 거친 학술지에 발표되지 않았으나 이미 AI 및 과학 관련 문헌에서 활발히 논의 중임
  • 시간이 지나면서 연구의 타당성에 의문이 제기되어 관련 부서에 보고됨
  • 2024년 2월, MIT는 내부 정책에 따라 비공개 조사를 진행함
  • 정보공개 제한으로 결과 발표는 어렵지만, 데이터와 연구의 출처, 신뢰성, 진실성에 전혀 신뢰가 없음을 다시 한 번 강조함
  • 이러한 내용을 공개하는 이유는, 해당 논문이 출판되지 않은 상태임에도 AI가 과학에 미치는 영향을 논하는데 영향을 주고 있기 때문임
  • MIT는 정확한 연구 기록 확보를 중요하게 여기며, 학계 및 공론장에서 이 논문의 결과에 의존해서 논의하는 것은 부적절하다는 점을 분명히 함

결론 및 권고사항

• MIT는 학계와 대중에게 해당 논문을 학술적 참고자료로 사용하지 않도록 권고함
• 연구의 정확성과 신뢰성 확보를 최우선 과제로 삼음

[GN⁺]

Hacker News 의견

• arXiv 논문 철회 요청은 저자만 할 수 있다는 사실을 이해 중이며, MIT는 저자에게 철회를 요청했지만 아직 이루어지지 않은 상황임을 설명 중인 입장 발표 형태로 이야기 진행 중임. MIT가 사생활을 적당히 보호하면서도 사태의 전개를 어느 정도 드러내는 정보 전달 방식이 괜찮다는 생각임. 저자가 논문을 남겨두고 MIT를 자발적으로 떠난 것처럼 이야기하면서 새로운 기회로 이어지길 기대했고, MIT가 이에 대해 공식 입장을 내놓을 줄 예상하지 못했을 것이라는 추측도 언급함

  • 저자가 MIT 공식 이메일 계정으로 arXiv에 로그인했다면, MIT가 그 계정을 접수해서 논문을 내려버릴 수도 있겠다는 농담 반 제안도 하고, 법적 조언은 아니라고 덧붙임

• MIT가 학생에게 모든 책임을 전가하며 자신들의 과실을 숨기고 있다는 주장임. 저자는 유명하고 부유한 MIT 교수들의 추천을 받았고, 2년차 박사과정생이 독자적으로 산업 내 접촉 없이 이런 대형 사기 연구를 해내기는 어렵다는 생각임. 논문의 초록에서 "AI가 새로운 소재를 44% 더 많이 발견했고, 특허 출원 39% 증가, 다운스트림 혁신 17% 증가"라는 통계는 산업계 연구 실정에 비추어볼 때 숫자만 봐도 의심스럽다는 견해임. 이 정도 수치면 기본적 감각만 있어도 사기임을 알 수 있음

  • 저자가 자신의 흔적을 감추려고 가짜 웹사이트를 만들고, Corning이란 기업에서 일했다는 듯이 도메인까지 등록했다는 사실도 확인함. 이로 인해 Corning이 WIPO를 통해 도메인 강제 이전을 하게 됐다는 사건도 첨부함

  • 저자가 Zoom으로 본인 논문 세미나를 진행한 영상 자료도 공유함. 되짚어보면, 거짓말할 때 시선을 화면이나 카메라에 두지 않는 습관이 눈에 띄었고, 이런 즉석 거짓말이 이미 일상화된 습관일 수도 있겠다는 불안감도 언급함

• 논문의 플롯 데이터가 지나치게 깨끗하게 보이기 때문에 실제 데이터가 아니라 조작 느낌이라고 첫 인상 느낌을 공유함. 특히 2022년 5월, chatGPT가 세상에 나오기 전 6개월에 불과한 시점에 2년차 박사가 대기업 소재 실험 연구소에서 천 명 규모의 실험을 실시하도록 설득한 요인을 설명하지 못하고 있음. 모델 설명도 GAN+diffusion 등 대충 넘어가고 구체성이 없으며, 실제 대기업 실무 경험상 이런 대규모 도입이 단기간에 이루어지는 일은 절대 없다고 단언함

  • 논문의 실험 설계가 현실적으로 불가능하다는 점에서 Michael LaCour의 논문 사기와 유사성을 언급함. 당시에도 설문 패널 응답 및 재응답률 등이 상식 밖이었고, 실제로 실험을 수행할 능력이 있다는 기업조차 그런 절차를 할 수 없다고 답했던 사례에 주목함

  • 해당 논문 저자가 MIT IRB로부터 인간실험 승인을 받았다며 번호까지 언급했으나, 그 당시엔 박사과정 입학도 전이었다는 점을 지적함

  • Q&A 세션에서 저자가 GAN이 아니라 GNN(그래프 신경망)을 사용했다고 주장했지만, 발표 청중 역시 논문의 타당성을 깊게 묻지 않는 분위기였음을 공유함

  • 논문의 복제가 어렵고 분야 자체가 방대한 경우, 그 논문이 과연 언제 실제로 검증될 수 있냐는 의문과, 해당 분야에 사기 논문이 얼마나 많은지 더 고민해봐야 한다는 생각임. 실제로 ML 분야에서는 숫자를 지어내는 사람이 꽤 있었다는 개인 경험도 있음

  • 과학자들의 월별 업무 시간 배분 데이터를 자동 텍스트 분석으로 연간 거의 일정하게 얻었다는 건 애초에 말이 안 된다는 생각임. 그런 데이터라면 품질이 상상 이상으로 좋아야 하지만 현실에서는 불가능한 수준임

• MIT의 저명한 경제학자들이 논문의 신빙성에는 의문을 가진 쪽을 들어줬고, 실존하는 소재 대기업의 혁신 사례를 검증하다가 이견을 해소하지 못해 MIT에 조사를 맡기게 된 상황임. 학생만 퇴출한 것으로 해결될 일이 아니며, 논문을 적극적으로 밀어준 교수들도 실제로 연구에 관여했다면 천 명 규모의 미스터리한 연구소가 있는지, 실제 AI 도구가 쓰였는지 기본 확인은 했어야 한다는 문제 제기임

  • 논문 감사 리스트에 등재된 21명 중 누구 하나 데이터 출처를 의심하지 않은 상황임을 꼬집음. 그중 한 명은 연구에 대해 인기 있는 트위터 스레드까지 썼고, 최근 사건 소식을 알리자 "논문 데이터가 신뢰할 수 없는 것 같다"는 짧은 답변에 그침

  • 학계 곳곳에 저명세만 큰데 논문은 제대로 읽지도 않는 교수가 많으며, 개인적으로도 실상을 겪고 있다는 토로임. 실명을 밝힐 순 없지만 힘든 상황에서도 좋은 공동 지도 교수가 있어 그나마 긍정적으로 생각함

  • 인용한 출처가 어디냐는 질문이 있어 워싱턴포스트 WSJ 기사임을 밝힘

• 해당 논문이 이미 50회 가까이 인용됐다는 사실에 주목함. 과거 전통적 저널이라면 논문의 문제와 관련된 메시지라도 남길 수 있었으나, arXiv의 경우 논문을 따라가 보면 논쟁이나 논란 자체를 전혀 알 길이 없다는 점에서 프리프린트 서버의 약점이 드러난다고 지적함

  • 50개 인용 대부분이 arXiv 등 프리프린트나 연구 게이트 같은 곳에서 발생했다고 밝힘. 실질적으로 동료 검토 저널에서 인용된 숫자가 현실적인 잣대임을 언급함. arXiv는 검토 없는 PDF 블로그나 마찬가지이며, 약간의 초대 시스템만 있을 뿐 방어력이 약하다고 느낌을 공유함. 이야기하며 과거 이상한 암호학 논문 사례도 들음

  • 이런 약점은 검토 부재에서 비롯된 것이며, arXiv는 일종의 관리만 있을 뿐 실제 신뢰할 수준은 아님을 지적함. 논문을 신뢰한다는 건 저자를 신뢰하거나 직접 검토해야 하고, 철회 시에도 이유가 별도로 남지 않으니 각자 추적해야 하는 환경임. 예시로 본인이 본 철회 논문 메시지 인용함

• 이 논문은 몇 달 전에도 HN에서 논의됐던 자료임을 공유함

  • 그때부터 의심스럽다는 점을 알아챈 사람이 있었음을 첨부 링크와 함께 강조함

  • 논의 게시글의 제목과 링크를 보충하며 정보 공유함

• 논문을 아예 삭제하기보다는, 연구 프리프린트에 문제점과 사기 가능성을 알리는 메모 추가 형태가 낫다는 의견임. 이미 인용이 된 상황이라 추후 논문의 실질적 영향 여부 확인이 필요한 경우가 생기니까, 논문이 사라지면 공백만 남게 됨을 걱정함

  • 논문 철회시 전 버전이 남아있으며, MIT 측이 철회 요청을 했다는 사실도 언급함. 언론 기사 제목은 다소 오해의 소지가 있음을 지적함

  • 범죄 논문이 계속 인용되지 않도록 인용 논문도 경고 마크 등으로 표시해야 하며, 사기의 영향이 끝까지 남지 않도록 조치가 필요하다고 생각함

  • arXiv에 "여기에 논문이 한때 있었지만 철회됐다"는 페이지라도 있으면 좋을 것이라는 바람도 밝힘

• MIT가 단순히 박사생의 잘못만 이야기하며 VC 자금, 뒷거래, 조직적 부패 가능성을 모두 부정하는 스탠스에 의문을 가짐. 해당 논문이 언젠가 들통날 걸 알면서도 AI 시장의 가치와 기대감을 부양해 몰이득을 누린 다음, 논란이 커지자 소액만 내고 사과하는 식이면 결국 큰 이익을 챙기는 구조라는 시각임. 제약회사들이 종종 이런 방식을 쓰는 시장 현실도 지적함. 믿을 만한 기관이나 출판물에도 허위 또는 약간 왜곡된 논문이 많으니 기사 인용만으론 논리적 타당성이 보장되지 않는다는 경계심을 가짐

  • 실제 학계 내부인의 경험상, 이런 조직적 사기는 효율성과 조직력, 기획력이 필요해 현실적으로는 불가능하다고 느끼며, 의사 결정에만도 엄청난 기간이 소요되기 때문에 상상 속의 음모론적 시나리오는 실제와 괴리가 크다는 지적임

• MIT 공식 발표는 디테일이 적고, WSJ 기사에는 그나마 좀 더 정보가 많은데 여전히 구체적인 내용은 부족함을 지적함. 논문을 적극적으로 알린 경제학자들이 외부 컴퓨터 과학자의 문제 제기 이후 MIT 내부 조사가 시행된 상황임을 다시 전달함

  • 기사 아카이브 링크도 공유함

• "2년차 박사 출신"이라는 점이 드러나는 것만 봐도 그가 퇴출됐음을 암시하고 있다는 의견임

  • 이런 대형 논란 인물들은 이후 어떻게 되는지 늘 궁금하다고 밝힘. 과거 Apple의 고위 임원이 범죄행위로 교도소에 갔을 때도 이후 소식이 전혀 없었던 경험을 들며, 이번 인물도 경력상 경제 분야에서 살아남기 어렵고, 나중에 평범한 사무직이든 소매 혹은 음식점 일자리를 얻을 수 있을지에 대한 궁금증을 나타냄