▲

ArXiv 컴퓨터 과학(CS) 카테고리의 리뷰 및 포지션 페이퍼 제출 관행 업데이트

 (blog.arxiv.org)
6P by GN⁺ 22시간전 | ★ favorite | 댓글 1개
  • arXiv의 컴퓨터 과학(CS) 카테고리가 리뷰(서베이) 논문과 포지션 페이퍼에 대한 새로운 심사 관행을 도입
  • 이제 이러한 논문은 학술지나 학회에서 동료평가(peer review)를 거쳐 수락된 후에만 arXiv에 제출 가능
  • 제출 시 성공적인 동료평가를 증명하는 문서(예: 저널 참조, DOI 메타데이터)를 반드시 포함해야 함
  • 검증 문서가 없는 제출물은 거절될 가능성이 높으며, 이는 최근 생성형 AI로 인한 과도한 논문 유입에 대응하기 위한 조치
  • arXiv는 본 변경을 통해 품질 높은 검토 논문만 공유하고, 핵심 연구 논문 유통에 집중하려는 목적

변경된 제출 요건

  • 리뷰 논문과 포지션 페이퍼는 학술지나 학회에서 수락 및 동료평가 완료 후에만 arXiv에 제출 가능
    • 제출 시 성공적인 동료평가 증빙 문서를 포함해야 함
    • 증빙이 없을 경우 거절될 가능성이 높음
  • 워크숍 수준의 심사는 전통적인 동료평가로 간주되지 않으며, 제출 요건을 충족하지 않음

정책적 배경

  • arXiv의 공식 정책상 리뷰 논문과 포지션 페이퍼는 공식적으로 허용된 콘텐츠 유형이 아님
    • 과거에는 소수의 고품질 논문만 모더레이터 재량으로 수락됨
  • 최근 생성형 AI와 대형언어모델(LLM) 의 확산으로 인해 품질이 낮은 리뷰 논문이 급증
    • 대부분이 단순 참고문헌 나열 수준으로, 새로운 연구 논의가 부족
  • 이러한 상황에서 모더레이터의 검토 부담이 과도해졌으며, arXiv의 핵심 목적(연구 논문 공유) 에 지장을 초래

변경의 목적

  • 전문가가 작성한 가치 있는 리뷰 및 포지션 페이퍼만 arXiv에서 쉽게 찾을 수 있도록 지원
  • 모더레이터의 업무 부담 완화 및 공식 콘텐츠 유형 검토에 집중
  • arXiv의 핵심 목표인 신속하고 자유로운 과학적 발견 촉진을 유지

기존과 현재의 차이

  • 과거에는 리뷰 논문이 소수의 저명 연구자나 공식 기관(예: Annual Reviews, IEEE, Computing Surveys) 요청으로 작성되어 품질이 높았음
  • 포지션 페이퍼도 학회나 정부 연구단체(예: Computing Research Association, National Academies)에서 제작된 경우가 대부분
  • 현재는 매달 수백 건의 리뷰 논문이 제출되며, 품질 관리가 어려운 수준에 도달

외부 심사 기관 활용

  • arXiv는 자체적으로 품질 검증을 수행할 인력과 자원이 부족
  • 대신 신뢰할 수 있는 외부 심사 기관(학회·저널) 의 검증을 인정
    • 이들 기관은 프라이버시, 윤리, 안전, 보안 등 AI 관련 주제에 대해 심층 검토 수행
  • 이를 통해 arXiv는 품질이 보장된 논문만 공유할 수 있게 됨

재제출 및 예외

  • 동료평가 미완료로 거절된 논문은, 이후 평가를 완료한 경우 이의제기(appeal) 절차를 통해 재제출 가능
    • 단, 승인된 이의제기 없이 재제출 불가
  • 과학기술의 사회적 영향을 다루는 연구 논문(cs.CY, physics.soc-ph 등)은 이번 변경의 적용 대상이 아님

다른 카테고리로의 확산 가능성

  • arXiv의 각 카테고리는 전문가 모더레이터가 독립적으로 운영
  • 모든 카테고리가 동일한 정책을 따르지만, 리뷰 논문은 기본적으로 비공식 콘텐츠 유형
  • 다른 분야에서도 LLM 기반 논문 급증이 발생할 경우, 유사한 심사 강화 조치가 도입될 수 있음
  • 이러한 변경이 있을 경우 공식적으로 공지 예정
▲
GN⁺ 22시간전  [-]
Hacker News 의견

  • 사람들이 만든 양에 따라 보상하는 구조가 문제임을 지적함
    연구자에게 논문 수를 기준으로 인센티브를 주면, 최소한의 품질로 최대한 많은 논문을 찍어내는 식으로 시스템을 악용하게 됨
    조회수 기반 보상, 광고 노출 기반 보상도 마찬가지로 왜곡된 행동을 유발함
    결국 온라인 세계는 인간이 아니라 알고리즘 최적화를 위해 설계된 시스템임

    • 비슷한 구조가 노숙자 지원 산업에서도 나타난다고 들었음
      샌프란시스코에서는 NGO가 지원받는 금액이 ‘도운 노숙자 수’에 따라 결정되는데, 결과적으로 노숙자를 줄이기보다 유지하는 인센티브가 생김
    • LLM을 탓하지 말자는 입장임
      문제는 사람과 인센티브 시스템이지, 도구 자체가 아님
    • LLM의 매력 자체가 ‘빠른 출력’에 있음
      코드 라인 수나 커밋 수 같은 무의미한 지표로 성과를 측정하는 문화가 이미 잘못된 상태임
      우리는 지금 ‘Goodhart의 지옥’에 살고 있는 듯함 — 지표 조작이 목적이 되어버린 세상임
      농담처럼 말하지만, 이런 지표 중심의 경영이 결국 대규모 장애를 일으키는 기업 현실을 풍자함
    • 그렇다면 품질 중심의 보상 시스템은 어떤 모습이어야 할까 궁금함
      인간 중심의 온라인 세계는 어떤 형태일지, 그리고 콘텐츠 제작자는 어떻게 보상받아야 할지 질문함
    • 일부는 이 문제를 오해한다고 봄
      논문 수가 아니라 연구비 확보와 제안서 품질이 진짜 핵심임을 강조함

  • arXiv가 프리프린트(사전 공개 논문) 를 더 이상 받지 않는다는 오해가 있었음
    사실은 ‘리뷰 논문’과 ‘포지션 페이퍼’만 저널이나 학회에서 심사 통과 후 제출 가능하게 바뀐 것임

    • LLM이 기술적 기여 없이 의견형 논문을 쉽게 생성할 수 있기 때문에 이런 조치가 필요하다고 설명함
    • 정책 변화는 아니며, 원래부터 이런 유형은 arXiv의 허용 범위에 없었음
    • 저널 버전은 업로드할 수 없지만, 포맷을 제외한 동일 내용은 올릴 수 있음
    • arXiv가 이력서용 블로그처럼 변해가고 있어 이번 변화가 오히려 긍정적일 수 있다고 봄
    • 여전히 연구 논문은 제출 가능함

  • arXiv에 평판 시스템을 도입하자는 제안이 나옴
    저자가 공개 PGP 키를 함께 올려 신뢰 네트워크를 형성하자는 아이디어임

    • web-of-trust 기반으로, 누구나 논문을 추천하고 신뢰 네트워크를 계산해 품질을 판단하는 구조를 제안함
      기존 학술지보다 덜 폐쇄적이고, 완전 개방보다는 질서 있는 형태가 될 수 있음
    • arXiv가 무료 프리프린트를 유지하되, 전문가 리뷰 서비스를 유료로 제공하는 모델도 제안됨
    • 어떤 교수는 “아이비리그 외 연구자는 배제하자”는 극단적 제안을 했다고 전함 — 풍자적으로 평판의 불공정성을 지적함

  • arXiv의 품질 관리 문제를 지적함
    10월에만 26,000건의 제출이 있었고(통계 링크), 검증 없는 논문이 넘침
    소액의 제출비를 받으면 스팸을 줄일 수 있을 것이라 제안함

    • 단, LLM 사용자를 전체 이용자 대신 직접 제재해야 한다는 의견도 있음
    • 돈 문제가 아니라, 논문을 통해 취업·입학·비자 등 실질적 이익을 얻기 때문이라는 분석도 있음
    • 제출비가 있다면 최소한의 간단한 검토 비용을 충당해야 하며, 검토 수준에 따라 ‘미검토·간단검토·완전검토·재현검증’ 등으로 구분하자는 제안도 있음
    • Metafilter처럼 1달러 가입비만 받아도 스팸 억제 효과가 있을 것이라는 의견도 나옴

  • HN 게시물의 제목이 잘못되었다는 지적이 있었음
    실제로는 “AI가 작성한 리뷰 논문 급증으로 인해 arXiv CS 분야는 리뷰 논문에 피어 리뷰를 요구한다”가 정확한 표현임

    • 원래 제목의 “Due to LLMs”는 ‘LLM이 작성한 논문’으로 오해될 수 있었음
    • arXiv의 본래 목적은 심사 전 공개이므로, 이번 조치가 그 가치를 훼손하지는 않음
    • 일부는 LLM 논문이 만들어내는 기이한 유머를 즐길 수 없게 된 점을 아쉬워함

  • 완전 AI 생성 논문을 arXiv에 올리는 사람들의 동기를 궁금해함
    제출 과정이 번거로운데도 왜 굳이 하는지 의문임

    • h-index 조작을 위해 논문 수를 늘리는 학계의 오래된 관행이 LLM으로 가속화된다고 설명함
    • EB-1 비자 등에서 ‘학술 논문 저자’가 평가 항목이기 때문에, 형식적으로라도 논문을 올리는 것이 큰 가치가 있음
    • 단순히 성과 과시용으로 가족이나 고용주에게 보여주려는 목적도 있을 것이라 추측함

  • 대부분의 저품질 논문은 AI 관련 주제임을 지적함
    많은 사람이 LLM을 처음 접하면 “LLM이 LLM에 대해 글을 쓰게 하자”는 식으로 자기참조적 실험을 함
    그 결과, 원본 데이터의 잡탕식 요약물이 만들어짐

    • AI 생성 논문은 CS 외 다른 분야에서도 발견되고 있으며, 일부는 존재하지 않는 논문을 인용하기도 함
    • arXiv가 ‘신규 연구만 허용’으로 좁히지 않기를 바람. 이미 AI 생성 연구 논문도 존재하며, 이쪽이 더 탐지하기 어려움
    • arXiv의 가치는 초기 피드백과 공개성에 있으므로, ‘피어 리뷰 논문만 허용’은 사실상 ‘들어오지 말라’는 의미임

  • arXiv의 이번 조치를 긍정적으로 평가함
    빠르게 변하는 multi-agent systems나 agentic LLMs 분야에서는 명확한 기준이 필요함
    논문 유형, 데이터·코드 링크, 벤치마크 범위 등 기계 판독 가능한 메타데이터를 요구하면 신뢰성을 높일 수 있음
    ‘Survey’나 ‘Position’ 태그와 재현성 체크리스트를 표준화하면 초기 아이디어를 막지 않으면서도 품질을 유지할 수 있음

  • arXiv는 이미 오래전부터 자기 홍보용 저품질 논문 문제를 겪고 있었음
    LLM 이전부터 존재한 현상임

    • 하지만 arXiv는 본질적으로 결과를 빠르게 공유하는 플랫폼이므로, 품질 저하가 ‘고통’이라기보다는 사용자가 스스로 걸러 읽어야 하는 구조라고 봄
답변달기