MIT, arXiv에 “AI와 과학적 발견, 그리고 제품 혁신” 논문 철회를 요청함

 (economics.mit.edu)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 2024년 11월 arXiv에 올라온 프리프린트가 연구 무결성 우려를 받자, MIT는 내부 비공개 검토 후 공개 논의에서 철회되어야 한다고 판단함
  • MIT는 연구 기록을 바로잡기 위해 arXiv 철회 표시를 요청했고, 논문이 제출됐던 The Quarterly Journal of Economics에도 연락함
  • MIT Committee on Discipline은 데이터의 출처·신뢰성·타당성과 연구의 진실성을 신뢰할 수 없다고 보며, arXiv Code of Conduct 위반 가능성도 언급함
  • arXiv 철회 요청은 일반적으로 저자만 제출할 수 있어 MIT가 저자에게 요청했지만, 현재까지 저자는 철회 요청을 내지 않았고 더 이상 MIT 소속도 아님
  • Daron Acemoglu와 David Autor는 이 미출판 논문이 AI와 과학에 관한 논의에 이미 영향을 주고 있으므로, 학술·공적 논의에서 해당 결과에 의존하지 말아야 한다고 밝힘

MIT가 문제 삼은 논문과 철회 절차

  • 2024년 11월 arXiv에 게시된 프리프린트 “Artificial Intelligence, Scientific Discovery, and Product Innovation”에 대해 연구 무결성 우려가 불거짐
  • MIT는 내부의 비공개 검토를 거쳐, 해당 논문이 공개 담론에서 철회되어야 한다고 결론냄
  • 연구 기록을 바로잡기 위해 MIT는 두 곳에 연락함
    • arXiv: 논문을 철회 상태로 표시해 달라고 공식 요청
    • The Quarterly Journal of Economics: 해당 논문이 제출되어 있던 저널
  • MIT Committee on Discipline의 arXiv 서한은 학생 개인정보 보호법과 MIT 정책 때문에 검토 결과를 공개할 수 없지만, MIT가 다음 항목을 신뢰하지 않는다고 밝힘
    • 데이터의 출처
    • 데이터의 신뢰성
    • 데이터의 타당성
    • 논문에 담긴 연구의 진실성
  • MIT는 이 판단에 따라 arXiv에 논문이 남아 있는 것이 arXiv Code of Conduct를 위반할 수 있다고 봄
  • MIT가 이해한 arXiv 절차상 논문 철회 요청은 논문 저자만 제출할 수 있음
    • MIT는 저자에게 철회 요청 제출을 지시함
    • 현재까지 저자는 철회 요청을 내지 않음
    • MIT는 arXiv에 가능한 한 빨리 해당 논문을 철회 상태로 표시해 달라고 요청함
  • 프리프린트는 정의상 동료 심사를 거치지 않은 상태임
  • MIT는 해당 출판물이 연구 논의에서 두드러지게 다뤄졌고, 연구 무결성 문제의 영향을 완화하기 위해 공식 조치가 필요하다고 봄
  • 해당 저자는 더 이상 MIT에 소속되어 있지 않음

연구 무결성 절차와 관련 교수들의 입장

  • MIT는 연구 무결성이 기관 임무의 중심에 있으며, 관련 우려를 평가하기 위한 정책과 비공개 절차를 갖추고 있음
  • 관련 정책은 MIT 정책 페이지에서 확인할 수 있음
  • 논문 각주에 이름이 언급된 Daron Acemoglu와 David Autor는 별도 입장을 냄
    • 문제의 논문은 MIT 경제학과의 전직 박사과정 2년차 학생이 작성함
    • 심사 저널에 게재되지는 않았지만, AI와 과학 문헌에서 이미 알려지고 널리 논의됨
    • 두 교수는 시간이 지나며 연구의 타당성에 우려를 갖게 되었고, 이를 MIT의 적절한 부서에 알림
    • MIT는 2월 초 서면 정책에 따라 내부 비공개 검토를 수행함
  • 두 교수 역시 학생 개인정보 보호법과 MIT 정책 때문에 검토 결과를 공개할 수 없지만, 데이터의 출처·신뢰성·타당성과 연구의 진실성을 신뢰하지 않는다고 밝힘
  • 미출판 논문이라도 AI가 과학에 미치는 영향에 관한 논의와 전망에 영향을 주고 있는 만큼, 현재 시점에서 해당 논문의 결과를 학술 또는 공적 논의의 근거로 삼아서는 안 된다고 봄

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • “논문 저자만 arXiv 철회 요청을 낼 수 있고, MIT는 저자에게 요청했지만 아직 하지 않았다”는 부분과 former second-year PhD student라는 미묘한 표현을 보면 MIT가 공개 입장을 낼 수밖에 없었던 듯함
    사생활 보호 선을 지키면서도 무슨 일이 있었는지 알 만큼의 정보는 제공한 편임
    저자는 논문을 그대로 두고 “자발적으로 MIT를 떠났다”는 식의 이야기를 하며 새 자리로 옮길 수 있다고 생각했을지도 모름. 조용히 철회했다면 훨씬 작은 일이었을 텐데, MIT가 공개 입장을 내면서 더 큰 뉴스가 될 줄은 예상 못 했을 가능성이 있음

    • 저자가 username@mit.edu 이메일로 로그인한 계정이라면 MIT가 그 계정을 가져가면 되는 것 아닌가 싶기도 함
      반쯤 농담이었고, MIT에 대한 법률 조언은 아님

  • 첫인상으로는, 부록의 여러 그래프에 나온 데이터가 가짜처럼 보임. 실제 데이터가 저렇게 깔끔하게 나오기는 어려움
    또 2022년 5월, ChatGPT가 생성형 AI를 주목받게 하기 6개월 전에 2년차 박사과정 학생이 어떻게 대형 소재 연구소 기업을 설득해 직원 1,000명 이상을 대상으로 실험하게 만들었는지도 의문임
    모델도 GAN+확산이라고만 되어 있고, 기술적 세부 사항은 대부분 개념 설명 수준이지 구체적인 내용이 없음
    “짧은 파일럿 프로그램 뒤 2022년 5월 대규모 배포를 시작했다”는 문장은 대기업에서 일해본 사람이라면 말이 안 된다는 걸 알 수 있음

    • 두 번째 지점처럼, 연구가 설명된 방식대로는 수행 자체가 불가능해 보이는 것은 Michael LaCour 사건에서도 문제였음. 사기 탐지 기준으로 과소평가되는 신호 같음
      https://en.wikipedia.org/wiki/When_Contact_Changes_Minds
      https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
      해당 논문 데이터를 검토하면서 투표자 응답의 검사-재검사 신뢰도가 다른 패널 설문 데이터보다 훨씬 높고, 응답률과 재면접률도 기대보다 크게 높다는 점이 놀라웠다고 되어 있음
      조사 회사도 LaCour와 Green(2014)에 설명된 모집 절차의 많은 부분을 수행할 역량이 없었다고 부인했음
    • 참고로 발표 뒤 질의응답에서는 GAN이 아니라 GNN, 즉 그래프 신경망이었다고 주장함
      이 질의응답에서 청중은 연구의 타당성을 딱히 의심하지 않음
      https://doi.org/10.52843/cassyni.n74lq7
    • 연구 수행 전에 “MIT’s Committee on the Use of Humans as Experimental Subjects under ID E-5842. JEL Codes: O31, O32, O33, J24, L65.”로부터 IRB 승인을 받았다고도 주장했는데, 그 시점에는 박사과정 학생도 아니었음
    • 과학자들이 어떤 작업에 시간을 썼는지 월별 기록이 있다는 것부터가 터무니없어 보임
      제안된 방법론은 과학자들의 서면 기록을 자동 텍스트 분석해 AI 도입 전 1년 동안 거의 일정한 시간 배분을 산출한다는 것인데, 믿기 어려움
      그런 데이터 품질을 확보하려면 상상하기 힘들 정도로 정교해야 함
    • 대량으로 논문이 나오는 분야에서 재현이 어려운 논문이라면 실제로 재현될 일이 있을까? 물어야 할 것은 그 분야에 사기성 논문이 얼마나 많느냐임
      머신러닝 연구자들이 수년 동안 숫자를 지어낸 것처럼 보이는 곳에서 일한 적도 있음

  • MIT는 학생을 속담처럼 버스 밑으로 밀어 넣으면서 자기 책임을 숨기고 있음. 관심을 잘 끌고 언론 대응에도 능한 부유한 교수들인 Acemoglu와 Autor가 그를 보증했음
    2년차 박사과정 학생이 산업계와의 접촉 흔적 하나 없이 혼자 이 일을 꾸몄을 리가 없음
    단독 저자 논문의 초록 첫 문단만 대충 봐도 경보가 울렸어야 함: “AI-assisted researchers discover 44% more materials, resulting in a 39% increase in patent filings and a 17% rise in downstream product innovation”
    산업 소재과학 연구를 조금이라도 아는 사람이라면 두 자릿수 개선율을 의심했을 것임. 한 자릿수 개선도 극히 드묾

    • 흔적을 덮으려고 가짜 웹사이트까지 만들려 한 듯함. 2025년 1월 12일 도메인을 등록했고, 자신이 협업한 회사가 Corning이었다는 것처럼 보이려 했을 가능성이 있음
      이 때문에 WIPO 제소가 있었고 Corning이 도메인 이전을 강제했음
      https://www.wipo.int/amc/en/domains/decisions/pdf/2025/d2025...
    • 이 논문에 대해 저자가 Zoom으로 진행한 세미나 녹화가 있음
      https://cassyni.com/events/MiPYGu3qzKP5MQFWNUn9Tb
      돌이켜보면 거짓말할 때 화면이나 카메라를 보지 않고 눈이 위, 왼쪽, 오른쪽 등 정면이 아닌 곳으로 가는 신호가 있는 듯함
      더 무서운 점은 즉석에서 꾸며내는 습관이 이미 깊이 배어 있고, 저자의 삶에서 과학 영역에만 국한되지 않을 수도 있다는 것임

  • 인용문에 따르면, 이 논문은 2024년 노벨경제학상 수상자인 MIT 경제학자 Daron Acemoglu와 David Autor가 적극 밀어줬고, 1월에 소재과학 경험이 있는 컴퓨터 과학자가 기술 작동 방식과 자신이 모르는 연구소가 혁신 성과를 냈다는 점에 의문을 제기하면서 MIT 검토가 시작됐음
    박사과정 학생은 쫓겨났을 수 있지만, 논문을 밀어준 사람들은 어떻게 되는지 궁금함
    학생과 함께 일했다면 수천 명의 소재과학자가 있는 신화적 연구소가 존재하지 않거나, 존재하더라도 실제로 AI 도구를 쓰지 않았다는 걸 알아차렸어야 하지 않나 싶음

    • 감사의 글에 언급된 21명 중 아무도 데이터셋 출처를 의심하지 않은 듯함
      그중 한 명은 이 연구에 대해 꽤 인기 있는 Twitter 스레드도 썼고, 최근 일을 알리자 “논문에 사용된 데이터가 신뢰할 수 없는 것처럼 보인다”고 짧게 답했음
    • 학계가 그렇다 보니, 이런 “유명” 교수들 중 꽤 불량한 사람들이 있음. 대부분 논문을 꼼꼼히 읽지도 않음
      내 지도교수도 내가 쓴 내용을 전혀 모르면서 자기 이름을 논문에 넣으라고 강요함
      불행히도 아직 이 대학에 있는 동안은 내부고발하기 안전하지 않음. 다행히 공동지도교수는 훌륭하고 상황도 완전히 알고 있음
    • 인용 출처는 WSJ 기사였음: https://www.wsj.com/tech/ai/mit-says-it-no-longer-stands-beh...

  • 놀랍게도 논문이 이미 50회 인용된 것으로 보임. 내려가든 아니든 크게 신경 쓰지는 않지만, 기존 출판사라면 적어도 논문에 철회 공지나 문제 설명을 붙일 수 있음
    이 논문을 다른 곳에서 인용한 걸 보고 arXiv 원문으로 따라가면, 연구를 둘러싼 논란을 전혀 알 수 없음. 사전출판 서버의 약점이 여기에 있음

    • 50개 인용의 대부분은 arXiv 같은 사전출판 서버나 ResearchGate 같은 집계 사이트임. 동료심사 학술지 논문에서 몇 번 인용됐는지 세는 편이 좋겠음
      arXiv는 동료심사가 아니므로 WordPress, Medium, Blogspot, X/Twitter와 신뢰도 면에서 크게 다르지 않음. 주요 차이는 글이 HTML이 아니라 PDF라는 정도임
      아주 엉뚱한 사례를 막기 위한 초대 시스템은 있지만 약함
      예전에 이상한 암호학 “돌파구”가 arXiv에 올라왔는데, 앞 5쪽이 9의 배수 판정법 설명이고 그다음이 의심스러운 빠른 인수분해 알고리즘이었음
      그 사전출판은 https://news.ycombinator.com/item?id=20666501에 링크됐고, 거기에 답변한 적이 있음
    • 동료심사가 없다는 점과 맞물린 약점임. 검수는 있지만 동료심사와 같다고 보면 안 됨
      연구를 믿는다는 것은 저자를 믿거나 직접 논문을 검토한다는 뜻임
      철회가 일어나면 저자가 이유를 설명하거나, 아니면 이전과 마찬가지로 직접 찾아봐야 함
      예를 들어 arxiv/0812.0848에는 “Triebel 공간의 핵심 정의 오류로 저자가 철회했다”는 식의 설명이 있음

  • 이 논문은 몇 달 전 HN에도 올라왔음
    https://news.ycombinator.com/item?id=42115310

  • 내 생각에는 논문을 내려서는 안 됨. 대신 사전출판본에 우려가 있고 사기일 가능성이 높다는 주석을 붙이면 됨
    이미 인용됐기 때문에, 다른 논문에 실질적인 영향을 주는지 판단하려면 여전히 참조가 필요할 수 있음. 논문이 삭제되면 그냥 공백만 남음

    • 논문이 철회되면 실제로 그렇게 처리되고[1], MIT도 논문 철회를 요청했음[2]
      그래서 이번 뉴스 제목처럼 논문을 내려달라고 요청했다는 표현은 미묘하게 부정확함
      [1]: https://info.arxiv.org/help/withdraw.html#:~:text=Previous%2...
      [2]: https://economics.mit.edu/news/assuring-accurate-research-re...
    • 위반 행위에는 공개 기록이 남아야 함. 다만 사기 논문의 일부가 계속 살아남아 인용되는 것을 막는 안전장치도 필요함
      해당 논문을 인용한 논문들은 저자들이 해결할 때까지 경고 표시가 붙어야 함
    • arXiv에 “여기에 논문이 있었지만 철회됐다”는 페이지가 없다면 문제가 됨

  • MIT 글은 세부 내용이 꽤 부족함. WSJ에는 정보가 더 있지만 여전히 구체적이지는 않음: https://www.wsj.com/tech/ai/mit-says-it-no-longer-stands-beh...
    WSJ에 따르면 논문은 Daron Acemoglu와 David Autor가 밀어줬고, 소재과학 경험이 있는 컴퓨터 과학자가 기술과 연구소의 성과에 의문을 제기하면서 MIT 검토로 이어졌음

  • “former second-year PhD student”라는 표현을 보면, 실제로 쫓겨난 거라면 상당히 심각한 일로 보임

    • 이런 세간의 이목을 끈 위반자들이 이후 어떻게 되는지 늘 궁금함
      예전에 Apple에서 범죄행위로 감옥에 간 고위 직원을 Google News 알림에 등록해뒀지만 이후 흔적을 전혀 보지 못했음
      이 사람의 경제학 커리어도 아마 끝났을 가능성이 크고, 이전에는 MIT 시작 전 NY Fed에서 일했으니 앞으로 어떤 일을 하게 될지 궁금함
      미래에 어떤 종류의 사무직을 찾을 수 있을지, 아니면 소매업이나 외식업 일자리로 밀려날지 모르겠음

  • 2024년 11월에 이 논문을 분석한 괜찮은 Twitter 스레드가 있음
    https://x.com/Robert_Palgrave/status/1856273405965693430

    • “괜찮은 Twitter 스레드”라는 표현 자체가 역설임
      3개 넘는 게시물로 말해야 한다면 블로그에 쓰고 Twitter에서는 링크만 걸면 됨. 읽어 내려가기가 고통스러웠고 결국 실패했음
    • Twitter에서 Ethan Mollick은 Robert Palgrave가 조사를 촉발한 과학자일 수도 있다는 뉘앙스를 보이는 듯함
    • Twitter 사용자가 아니어도 이런 스레드를 읽을 방법이 있나?
답변달기