가짜 저자를 신고한 연구 논문 두 편이 모두 구두 발표로 채택됨

 (geospatialml.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • NeurIPS·WACV·ECCV TerraBytes에서 심사한 22편 중 15편(68%) 에 조작된 인용·저자 목록이나 명백한 LLM 생성 문장이 있었고, 가짜 저자를 신고한 두 논문도 참고문헌 수정 조건으로 구두 발표에 채택됨
  • 2025년 학술 문헌에는 약 14만6,900건의 환각 인용이 있었던 것으로 추산되며, bioRxiv에서 출판본까지 추적한 환각 인용의 85.3%는 심사를 통과한 뒤에도 남아 있었음
  • 문제는 투고를 넘어 심사로 번져 ICLR 2026 리뷰의 21%가 완전한 AI 생성으로 판정됐고, ICML 2026에서는 LLM 사용 금지 대상 리뷰어가 작성한 리뷰 약 795건에서 LLM 사용이 탐지됨
  • LLM 사용 자체보다 검증하지 않은 결과 제출이 문제이며, 참고문헌 오류·본문과 표의 수치 불일치·과도한 성과 홍보·지표만 반복하는 토론 섹션은 원고가 충분히 검토되지 않았다는 신호가 됨
  • 참고문헌을 여러 등록 기관과 대조하는 bib-audit 가 공개됐지만, 비공개 투고문의 일부를 호스팅된 LLM에 보내므로 리뷰어는 학회별 기밀성과 LLM 정책을 먼저 확인해야 함

22편을 심사하며 확인한 규모

  • 두 리뷰어가 여름 동안 NeurIPS, WACV, ECCV의 지리공간 워크숍 TerraBytes에서 총 22편을 심사함
    • 15편(68%)에서 완전히 조작된 인용, 실제 논문의 변조된 저자 목록, 환각된 전문용어·무의미한 문장·무관한 인용 등 명백한 LLM 생성 흔적을 발견함
    • 한 리뷰어는 11편 중 6편(55%), 다른 리뷰어는 11편 중 9편(82%)에서 이런 문제를 확인함
  • 학회별 결과는 다음과 같음
    • NeurIPS Datasets and Benchmarks 트랙: 5편 중 2편
    • NeurIPS Position Paper 트랙: 2편 중 2편
    • TerraBytes: 각각 2편 중 1편, 5편 중 4편
    • WACV: 두 리뷰어 모두 4편 중 3편
  • 인용 문제만으로 데스크 리젝트할 만한 논문은 각각 5편과 9편이었음
    • WACV 논문 두 편은 참고문헌의 첫 번째 항목부터 실제 논문의 저자를 가짜 이름으로 바꿔 놓았음
    • NeurIPS 논문 한 편은 환각되거나 무의미한 전문용어가 53페이지에 걸쳐 있어 참고문헌 검토 자체가 무의미했음
    • NeurIPS Position Paper 두 편은 모두 LLM 생성물로 판단됐고, TerraBytes 배정 논문 5편 중 4편에도 가짜 인용이나 저자가 있었음

학술 문헌 전반으로 확산된 환각 인용

  • 2026년 4월 Nature 분석은 2025년 출판물 최소 수만 편에 잘못된 AI 생성 참고문헌이 들어갔을 가능성을 확인함
  • Zhao 등의 arXiv·bioRxiv·SSRN·PubMed Central 감사는 2025년에만 약 14만6,900건의 환각 인용이 있었다고 추산함
    • 소수의 악의적 행위자에게 집중되지 않고 많은 논문에 얇게 퍼져 있었음
    • 경력 초기 연구자와 소규모 팀에서 포함 가능성이 가장 높았음
    • 환각 인용이 들어간 bioRxiv 프리프린트의 출판본을 추적한 결과 85.3% 가 그대로 남아 있었음
  • The Lancet의 생의학 논문 250만 편 감사에서는 가짜 참고문헌이 하나 이상 있는 논문의 비율이 2년 만에 6배 증가함
    • 2023년 2,828편당 1편에서 2025년 458편당 1편으로 늘어남
    • 2026년 초에는 277편당 1편에 도달함
  • NeurIPS 2025 출판 논문의 환각 인용 100건 분석에서는 모든 인용이 3~5명의 전문가 리뷰를 통과함
    • 해당 인용을 포함한 논문은 53편으로 전체 채택작의 약 1% 였으며 현재도 프로시딩에 남아 있음

AI가 작성하는 동료평가와 조작 가능성

  • Pangram의 ICLR 2026 분석은 리뷰 15,899건, 즉 21% 가 완전히 AI로 생성됐다고 판정함
    • 전체 리뷰의 절반 이상에는 어떤 형태로든 AI가 관여했음
  • Organization Science는 ChatGPT 등장 이후 투고가 42% 증가했으며, 현재 동료평가의 30% 이상에서 일정 수준의 AI가 사용된 것으로 측정됨
  • ICML 2026의 프롬프트 주입 탐지에서는 LLM 사용이 금지된 Policy A 리뷰어 506명이 작성한 리뷰 약 795건에서 LLM 사용을 발견함
    • 이는 전체 리뷰의 약 1%에 해당함
    • NeurIPS에서도 명백한 AI 생성 윤리 리뷰와 여러 AI 생성 반박문이 관찰됨
  • AI 리뷰는 논문의 과학적 내용을 바꾸지 않고도 초록을 적대적으로 재작성해 평가를 높일 수 있음
    • Li 등의 실험에서 가장 강한 공격은 약 38%의 성공률을 기록함
    • 10점 척도에서 Gemini 3 Flash 리뷰어의 채택 점수는 1.31점, GPT 5.4 Mini 리뷰어의 점수는 0.88점 높아짐
    • 공격자는 어떤 리뷰 모델이 사용되는지 알 필요도 없었음

실제 심사에서 발견한 조작과 판별 신호

  • 최악의 사례는 실제 논문의 학회·제목·다른 저자는 유지하면서 개인적으로 아는 저자만 비슷한 가상 이름으로 바꾼 두 투고였음
    • 리뷰어가 리젝트를 권고하고 주최 측에 직접 신고했지만, 두 편 모두 참고문헌 수정 조건부 구두 발표로 채택됨
  • SatMAE를 인용한 WACV 논문은 저자를 “Yuyang Cong, Saurabh Khanna, Chen Meng, et al.”로 적음
  • 53페이지와 40페이지 분량의 NeurIPS 논문에는 환각 전문용어와 조작된 참고문헌이 있었고, 한 논문은 여러 인용 옆에 LLM 내부 메모까지 남겨 둠
  • 가짜 저자와 완전히 가짜인 참고문헌은 모두 원고가 충분히 검토되지 않았다는 사실을 드러냄
    • 해당 연구를 실제로 읽었는지, 올바른 맥락에서 인용했는지, 논문·코드·데이터셋의 다른 부분도 신뢰할 수 있는지 불분명해짐
    • 환각 참고문헌이 있는 논문은 채택 준비가 되지 않았으므로 데스크 리젝트해야 한다는 입장임

  • LLM 작성 가능성이 높은 신호

    • 흔한 문체 신호로 “It’s not X, it’s Y”, “The real X is Y” 같은 대비 문구, 과도한 볼드·em dash, 해석하기 어려운 고밀도 문장, 결과에 대한 지나친 홍보가 있음
    • 더 미묘한 신호는 본문의 수치나 지표가 표와 일치하지 않는 경우임
    • 실험을 다시 실행한 뒤 에이전트에 전체 수치 갱신이나 검증을 지시하지 않으면 이런 불일치가 생김
    • Claude는 부록이나 코드로 보내야 할 수치까지 본문에 압축하고, 토론 섹션에서 표의 지표만 그대로 반복하는 경향이 있음
    • 1% 미만의 향상을 평균·표준편차 없이 SOTA라고 부르는 맞춤형 모델, 인용이면 충분한 자리에 들어간 복잡한 수식, 부록에 있어야 할 제거 실험도 경고 신호임

심사 업무에 생긴 변화

  • 초록을 읽은 직후 참고문헌부터 훑고, 논문 전체가 LLM 출력인지 빠르게 확인하는 방식으로 심사 절차가 바뀜
  • LLM 흔적을 찾는 데 시간이 늘면서 논문이 선의로 제출됐다는 전제도 약해짐
    • 흥미롭고 사람이 작성한 읽을 만한 논문의 수가 크게 줄었다고 느낌
    • 다만 환각 참고문헌을 제외하면 기존의 저품질 인간 작성 논문을 심사할 때와 비슷한 문제도 많음
  • LLM 사용 사실 자체는 심사 기준이 아님
    • LLM이 작성을 도왔더라도 연구가 흥미롭고 실험이 유효하며 재현 가능하면 문제가 없음
    • 검토하지 않은 LLM 출력을 그대로 제출해 리뷰어에게 피드백을 요구하는 행위가 문제임
  • 학회가 투고자에게 4~5편의 리뷰를 의무화하면서 무급 심사량도 늘어남
    • 리뷰어는 밤이나 주말에 시간을 들여 심사하며, 인용 환각을 뒤늦게 발견하면 그 시간이 낭비됨
    • 리뷰에서 배우려면 연구자가 먼저 자신의 작업을 충분히 읽고 성찰해야 함

LLM을 연구와 글쓰기에 사용하는 방식

  • Claude 등 LLM을 매일 사용하되 출력은 반드시 검증·편집·재작성함
    • 문헌 검토 초안에 Claude를 사용한 뒤 원 논문과 게시물을 직접 읽음
    • 블로그가 인용한 원 연구를 찾아 대체하고, 자료를 다시 구성하며 불필요한 세부 사항을 덜어냄
  • 논문 제출 전에는 전체 원고를 철저히 읽고 참고문헌을 수동으로 확인함
    • Claude에 모호한 부분을 찾게 한 뒤 객관식 질문으로 인터뷰하도록 해 의도를 맞춤
    • bib-audit 실행 후에도 Google Scholar, IEEE, CVF 등의 데이터베이스에서 개별 항목을 확인함
    • 여러 해 동안 축적한 Zotero의 실제 BibTeX도 재사용함
  • 초기에 다른 사람의 피드백을 받고, 필요하면 초안 작성 중에도 글 전체를 다시 구성함
    • 마감 직전의 급한 작업이 저품질 LLM 논문을 만드는 원인으로 봄
    • LLM 이전부터 형성한 연구 감각이 중요하며, 젊은 연구자가 방향 없이 연구를 생성하는 환경을 우려함

  • Claude의 문체를 통제하는 방법

    • 에이전트가 쓴 문장은 지나치게 조밀하고 흐름이 나빠 em dash와 세미콜론을 제한함
    • Fable 5는 em dash 대신 콜론을 남용하고 B2B SaaS 마케팅 문체를 만드는 경향이 있음
    • 지나치게 공격적이거나 밋밋하지 않으면서 분야 밖 독자도 읽을 수 있는 문장을 목표로 함
    • 과학 글쓰기와 ASD-STE100 Simplified Technical English 사이의 규칙을 담은 스킬이 효과적이었음
    • 글의 목적과 독자를 먼저 정한 뒤 독자에게 맞게 형식을 조정해야 함
    • Claude의 기본 문체는 과학 독자에게 적합하지 않음
    • 과도한 볼드, 열거 목록, 마케팅 문구가 남으면 내용의 출처와 검증 여부까지 의심받을 수 있음

공개 고지보다 투고 단계 필터링이 필요한 이유

  • LLM 사용 공개 의무는 선의의 연구자에게 유용할 수 있지만 실제 행동을 크게 바꾸지는 못할 것으로 봄
    • TorchGeo에는 “LLM 미사용”, “LLM 보조”, “LLM이 전체 작성” 단계의 AI 정책을 추가했지만 마지막 항목을 자발적으로 선택할 가능성은 낮음
    • LLM으로 작성했더라도 결과가 검증되고 재현 가능한 좋은 논문이라면 받아들일 수 있음
  • 흔한 LLM 오류를 찾아 원고가 심사 가능한 상태인지 판별하는 데스크 리젝트 장치 또는 플래그 도구가 필요함
    • 현재는 리뷰어들이 사실상 데스크 리젝트 작업을 분담하고 있어 선의의 리뷰어에게 공정하지 않음
    • ICLR은 2027년부터 OpenReview에 저자 이름을 공개함
  • 책임은 저자·지도자·영역 의장·주최자·학회 모두에게 있음
    • 저자는 이력서를 채우기 위해 저노력 논문을 대량 제출하지 않아야 함
    • 지도자와 멘토는 학생의 저노력 투고를 막아야 함
    • 주최자는 대규모 투고 속에서 이를 걸러낼 방법을 마련해야 함
  • 출판 인센티브 문제는 LLM 이전부터 존재했으며, Lipton과 Steinhardt는 2018년에 수학적 겉치레, 언어 오용, 어긋난 인센티브를 정리함
  • LLM으로 수업 프로젝트나 자동 연구 결과를 NeurIPS 형식 논문처럼 만들 수 있어도 실제 연구 기여가 아니라면 제출하지 않아야 함
    • Opus 4.6과 Karpathy의 autoresearch 저장소를 이용해 LandCoverAI에서 SOTA처럼 보이는 결과와 논문을 만들 수 있었지만, 연구 기여가 아니어서 제출하지 않음
    • AAAI 2027에는 초록 4만8,000건이 제출돼 자동 필터링 문제의 규모가 더 커짐

bib-audit로 참고문헌 자동 감사

  • bib-audit는 MIT 라이선스의 Claude Code 스킬로, 참고문헌의 제목·연도·전체 저자 목록을 등록 기관 기록과 대조함
  • .bib, .bbl, PDF를 입력할 수 있음
    • .bbl과 PDF는 Claude가 렌더링된 참고문헌을 구조화된 필드로 복원함
    • 이후 스크립트가 Crossref, arXiv, DataCite, Semantic Scholar에서 각 항목을 확인함
  • 결과는 심각한 오류부터 정렬됨
    • 존재하지 않는 논문
    • 조작된 식별자와 가짜 저자
    • 실제 논문의 잘못된 메타데이터, 잘린 저자 목록, 프리프린트와 출판본 간 연도 차이
    • 페이지 범위의 단일 하이픈, URL로 저장한 DOI, J.D. 형식 이니셜 같은 서식 오류
  • 제목 존재 여부만 검사하지 않고 전체 저자 목록을 비교하므로 SatMAE 사례 같은 저자 교체를 찾을 수 있음
  • DOI나 arXiv ID 없이 제목 검색으로만 연결된 항목은 단정하지 않고 수동 확인이 필요한 권고로 반환함
    • 리뷰에서는 동기를 추정하지 않고 “arXiv 기록의 첫 저자는 Yuyang Cong이 아니라 Yezhen Cong”처럼 관찰된 사실만 보고해야 함
  • .bib 검사는 읽기 전용이고 별도 의존성이 없으며, 식별자로 고정된 항목의 불일치에만 실패하도록 설정할 수 있어 제출 전 CI 게이트로 사용할 수 있음
  • Claude 외에도 npx skills add isaaccorley/skills를 통해 Codex, Copilot, Cursor와 다른 에이전트에 설치할 수 있음

리뷰어가 확인해야 할 기밀성과 학회 정책

  • 감사 과정은 비공개 투고문의 참고문헌 일부를 호스팅된 LLM에 전송하므로, 리뷰 작성에 LLM을 쓰지 않더라도 학회 정책을 위반할 수 있음
  • ECCV 2026 정책은 로컬 또는 API LLM으로 리뷰나 메타 리뷰를 작성하는 것을 금지하며, 투고문의 상당한 부분을 LLM과 공유하는 행위도 별도로 금지함
  • WACV 리뷰어 지침은 LLM 생성 리뷰를 매우 무책임한 행위로 규정함
    • 위반 시 리뷰어 본인의 논문이 데스크 리젝트될 수 있음
    • 기밀 자료를 리뷰어가 아닌 대상에게 보여 주는 것도 금지하며, 호스팅된 LLM은 리뷰어가 아님
  • NeurIPS LLM 정책은 리뷰어가 LLM 서비스와 공유할 수 있는 내용을 제한함
  • 저자는 제출 전에 직접 bib-audit를 실행할 수 있지만, 리뷰어는 사용 전 반드시 해당 학회의 LLM·기밀성 정책을 확인해야 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 현재 AI 연구 출판 과정에서는 논문 작성, 심사, 읽기·요약까지 AI가 맡고 있음
    NeurIPS도 AI 보조 심사 실험을 진행 중이며, 주요 학회 논문이 너무 많아 사람이 모두 읽기는 불가능함
    학술 출판 과정에서 인간이 매우 빠르게 자동화로 밀려나는 중임

    • 인간을 출판 과정에서 없애기보다 저질 논문의 대량 생산을 자동화하고 있다고 봄
      최근 EMNLP 심사에서도 비슷한 일을 겪었으며, AI는 아직 연구의 품질을 판단할 수준과 거리가 멂
      정직한 동료 심사라는 공공재가 남용되고 있지만, 극단적인 사회적 점수제로 심사 시스템 접근을 제한하는 것 외에는 뚜렷한 해결책이 없어 보임
    • 다음 단계는 AI가 운영하는 저널이 다른 AI에게 구독료를 받고, AI가 운영하는 대학이 논문과 인용이 가장 많은 AI를 승진시키는 것일 듯함
    • AI 사용이 탐지된 논문도 여전히 채택됐다는 점이 중요함
      연구자 대다수가 AI를 적극 활용하므로 이를 처벌하거나 자신들까지 불리해질 환경을 만들고 싶어 하지 않으며, 분위기는 대체로 걱정 말고 받아들이라는 쪽임
      결국 처음부터 과학 자체를 진지하게 중시한 사람이 거의 없었다는 가혹한 현실이 드러남
    • 식품 사막과 비슷한 추론 사막(reasoning deserts) 을 생각하게 됨
      경제적 계산 때문에 인간의 건강과 번영에 필요한 실제 구성 요소 없이 겉모습만 비슷한 대체물이 공급되는 공간을 뜻함
    • 인간을 자동화로 몰아내는 게 아니라 학계 자체를 무의미하게 만들고 있음
      이것이 학계의 일반적인 모습이라면 연구비 삭감을 주장하는 쪽에도 공감하게 됨

  • 이는 출판하지 않으면 도태되는 체제의 논리적 귀결임
    이 체제를 없애면 문제도 대부분 사라질 것이며, 관리자들이 단순한 지표를 원하더라도 연구에는 그런 지표가 없음

    • 과학의 출판 실적은 소프트웨어 개발에서 작성한 코드 줄 수를 재는 것과 같음
      기술 부채까지 똑같아서 논문은 셀 수 없이 많지만, 대부분 재현되지 않을 가능성이 높고 어느 논문이 그런지는 모름
    • 그렇다면 복잡하더라도 쓸 만한 연구 평가 지표가 있는지 의문임
      출판·인용 실적은 조작될 수 있지만 구체적이고, 인용이 많은 논문은 대체로 유용해 저자에게 보상이 돌아감
      이를 없애고 더 나은 대안을 마련하지 못하면 지금보다도 더 인맥과 말솜씨에 좌우될 수 있음
    • 교수는 이미 논문 외에도 강의, 봉사, 위원회 운영, 대학원생 지도·졸업 같은 여러 요건을 충족해야 하며, 모두 종신재직권 심사에 반영됨

  • AI가 만든 오류를 그대로 제출하는 행위는 표절에 준하는 위반으로 취급하고 비슷한 처벌을 내려야 한다고 봄

    • AI 사용을 정직하게 공개하지 않으면 저널 투고를 1년 이상 금지하는 정책이 이미 도입되는 것으로 알며, arXiv도 비슷한 방향인 듯함
      공개 여부와 과도한 사용은 다르지만, 환각과 오류조차 확인하지 않았다면 AI보다 무능과 게으름이 본질적인 문제임

  • arXiv 월별 제출 통계는 로그 척도로 바꾸는 편이 나을 듯함
    2027년 학계가 Moltbook처럼 변할 수도 있어 보임

    • 로그 증가 추세가 LLM 논문 시대 전부터 시작됐다면, 단지 arXiv 사전 공개의 인기 증가를 반영한다고 순진하게 기대해볼 수도 있음
    • 방향 자체는 맞지만 분야와 세부 분야마다 상황이 크게 다름
      저질 논문은 화려하고 큰 주제에 집중되고 특히 기계학습 분야가 심각하지만, 중요하면서도 틈새에 속해 아직 이런 저자들이 건드리지 않는 주제도 많음
      그런 분야는 여전히 진지한 연구자들이 주도하지만, 직접 공부하지 않으면 존재를 알기 어려움

  • 이는 학계가 논문과 저널의 공개 접근성을 진지하게 다루지 않은 부작용임
    논문이 저널의 접근 제한에 막히지 않았다면 인용된 논문과 인용문의 존재 여부 정도는 쉽게 검증할 수 있음

    • 학계보다 출판사들이 브랜드에 기대어 최대한 수익을 뽑으려는 게 문제임
      동료 심사는 보상 없이 명성만 얻고 플랫폼과 출판사가 이익을 가져가는 Reddit 운영자 역할과 비슷함
      저자가 출판비를 내고 다른 저자가 무료로 교정까지 해주는 구조이며, 학자들이 사전 공개본이나 인기 논문을 개인 웹사이트에 올리는 것은 자연스러운 선택임
    • 논문의 존재 여부는 대부분 저널의 공개 색인, 저자·초록 정보, DOI 인용만으로 폐쇄형 저널에서도 쉽게 확인 가능함
      다만 인용 내용이 실제 주장과 부합하는지 검증하려면 논문을 읽고 해석해야 하므로 공개 접근만으로 간단해지지는 않으며, AI로 1차 확인을 해도 매우 고된 작업임
    • 이는 어느 집단에서나 반복되는 인간의 고질적인 실패를 보여줌. 누구도 자기 집을 청소하려 하지 않음
    • 인용된 논문의 존재 여부는 이미 쉽게 확인 가능함
    • 적어도 생의학 연구에서는 대부분 출판 즉시 또는 1년 뒤 공개 접근으로 전환됨

  • 학회에 논문을 제출하면 4~5편을 의무적으로 심사해야 한다는 게 사실인지 의문임
    제대로 된 논문도 출처와 전문성을 알 수 없는 사람들에게 강제로 심사받는 셈임

    • 사실이며 4~5편도 적게 잡은 수치임
      나는 7편을 강제로 심사했고, 3만 편 중 원하는 논문 30편에 지원했지만 하나도 배정받지 못한 채 충분한 전문성이 없는 논문 7편을 맡았음
    • ACL 계열 학회에서는 완전히 무작위인 사람은 아니며, 주요 ACL 행사나 Findings에 논문 2편 이상과 ACL Anthology 또는 주요 ML·AI 학회에 추가 논문 1편 이상을 낸 저자여야 함
      하지만 제출 논문은 계속 늘고 자원봉사 심사자는 부족해 의무 심사가 실제로 시행되고 있음: 심사 인센티브 기준

  • Chavda의 역설을 참고할 만함: https://zencapital.substack.com/p/chavdas-paradox

  • 처음에는 Caleb과 Isaac이 출판 논문에서 AI 사용을 탐지하는 두 알고리즘 이름인 줄 알았지만, 실제로는 AI의 도움을 받아 글을 쓴 두 저자의 이름이었음
    두 사람이 서로 다른 판정을 내렸다면 각자 문제로 표시한 논문이 얼마나 겹쳤는지 궁금함

  • 아직 알파 단계지만 몇 주 뒤 Show HN 공개를 목표로 인용 검증 애플리케이션 https://veruscite-data.com/을 개발 중임
    생성형 AI 도구에 익숙한 사람은 글에서 Caleb과 Isaac이 제공한 기능을 직접 써도 되지만, 이 도구는 토큰 효율이 더 높고 추출한 참고문헌을 검토·수정하기 쉬운 GUI를 제공함

답변달기