Hacker News 의견

• 사람들이 만든 양에 따라 보상하는 구조가 문제임을 지적함
  연구자에게 논문 수를 기준으로 인센티브를 주면, 최소한의 품질로 최대한 많은 논문을 찍어내는 식으로 시스템을 악용하게 됨
  조회수 기반 보상, 광고 노출 기반 보상도 마찬가지로 왜곡된 행동을 유발함
  결국 온라인 세계는 인간이 아니라 알고리즘 최적화를 위해 설계된 시스템임

  • 비슷한 구조가 노숙자 지원 산업에서도 나타난다고 들었음
    샌프란시스코에서는 NGO가 지원받는 금액이 ‘도운 노숙자 수’에 따라 결정되는데, 결과적으로 노숙자를 줄이기보다 유지하는 인센티브가 생김
  • LLM을 탓하지 말자는 입장임
    문제는 사람과 인센티브 시스템이지, 도구 자체가 아님
  • LLM의 매력 자체가 ‘빠른 출력’에 있음
    코드 라인 수나 커밋 수 같은 무의미한 지표로 성과를 측정하는 문화가 이미 잘못된 상태임
    우리는 지금 ‘Goodhart의 지옥’에 살고 있는 듯함 — 지표 조작이 목적이 되어버린 세상임
    농담처럼 말하지만, 이런 지표 중심의 경영이 결국 대규모 장애를 일으키는 기업 현실을 풍자함
  • 그렇다면 품질 중심의 보상 시스템은 어떤 모습이어야 할까 궁금함
    인간 중심의 온라인 세계는 어떤 형태일지, 그리고 콘텐츠 제작자는 어떻게 보상받아야 할지 질문함
  • 일부는 이 문제를 오해한다고 봄
    논문 수가 아니라 연구비 확보와 제안서 품질이 진짜 핵심임을 강조함

• arXiv가 프리프린트(사전 공개 논문) 를 더 이상 받지 않는다는 오해가 있었음
  사실은 ‘리뷰 논문’과 ‘포지션 페이퍼’만 저널이나 학회에서 심사 통과 후 제출 가능하게 바뀐 것임

  • LLM이 기술적 기여 없이 의견형 논문을 쉽게 생성할 수 있기 때문에 이런 조치가 필요하다고 설명함
  • 정책 변화는 아니며, 원래부터 이런 유형은 arXiv의 허용 범위에 없었음
  • 저널 버전은 업로드할 수 없지만, 포맷을 제외한 동일 내용은 올릴 수 있음
  • arXiv가 이력서용 블로그처럼 변해가고 있어 이번 변화가 오히려 긍정적일 수 있다고 봄
  • 여전히 연구 논문은 제출 가능함

• arXiv에 평판 시스템을 도입하자는 제안이 나옴
  저자가 공개 PGP 키를 함께 올려 신뢰 네트워크를 형성하자는 아이디어임

  • web-of-trust 기반으로, 누구나 논문을 추천하고 신뢰 네트워크를 계산해 품질을 판단하는 구조를 제안함
    기존 학술지보다 덜 폐쇄적이고, 완전 개방보다는 질서 있는 형태가 될 수 있음
  • arXiv가 무료 프리프린트를 유지하되, 전문가 리뷰 서비스를 유료로 제공하는 모델도 제안됨
  • 어떤 교수는 “아이비리그 외 연구자는 배제하자”는 극단적 제안을 했다고 전함 — 풍자적으로 평판의 불공정성을 지적함

• arXiv의 품질 관리 문제를 지적함
  10월에만 26,000건의 제출이 있었고(통계 링크), 검증 없는 논문이 넘침
  소액의 제출비를 받으면 스팸을 줄일 수 있을 것이라 제안함

  • 단, LLM 사용자를 전체 이용자 대신 직접 제재해야 한다는 의견도 있음
  • 돈 문제가 아니라, 논문을 통해 취업·입학·비자 등 실질적 이익을 얻기 때문이라는 분석도 있음
  • 제출비가 있다면 최소한의 간단한 검토 비용을 충당해야 하며, 검토 수준에 따라 ‘미검토·간단검토·완전검토·재현검증’ 등으로 구분하자는 제안도 있음
  • Metafilter처럼 1달러 가입비만 받아도 스팸 억제 효과가 있을 것이라는 의견도 나옴

• HN 게시물의 제목이 잘못되었다는 지적이 있었음
  실제로는 “AI가 작성한 리뷰 논문 급증으로 인해 arXiv CS 분야는 리뷰 논문에 피어 리뷰를 요구한다”가 정확한 표현임

  • 원래 제목의 “Due to LLMs”는 ‘LLM이 작성한 논문’으로 오해될 수 있었음
  • arXiv의 본래 목적은 심사 전 공개이므로, 이번 조치가 그 가치를 훼손하지는 않음
  • 일부는 LLM 논문이 만들어내는 기이한 유머를 즐길 수 없게 된 점을 아쉬워함

• 완전 AI 생성 논문을 arXiv에 올리는 사람들의 동기를 궁금해함
  제출 과정이 번거로운데도 왜 굳이 하는지 의문임

  • h-index 조작을 위해 논문 수를 늘리는 학계의 오래된 관행이 LLM으로 가속화된다고 설명함
  • EB-1 비자 등에서 ‘학술 논문 저자’가 평가 항목이기 때문에, 형식적으로라도 논문을 올리는 것이 큰 가치가 있음
  • 단순히 성과 과시용으로 가족이나 고용주에게 보여주려는 목적도 있을 것이라 추측함

• 대부분의 저품질 논문은 AI 관련 주제임을 지적함
  많은 사람이 LLM을 처음 접하면 “LLM이 LLM에 대해 글을 쓰게 하자”는 식으로 자기참조적 실험을 함
  그 결과, 원본 데이터의 잡탕식 요약물이 만들어짐

  • AI 생성 논문은 CS 외 다른 분야에서도 발견되고 있으며, 일부는 존재하지 않는 논문을 인용하기도 함
  • arXiv가 ‘신규 연구만 허용’으로 좁히지 않기를 바람. 이미 AI 생성 연구 논문도 존재하며, 이쪽이 더 탐지하기 어려움
  • arXiv의 가치는 초기 피드백과 공개성에 있으므로, ‘피어 리뷰 논문만 허용’은 사실상 ‘들어오지 말라’는 의미임

• arXiv의 이번 조치를 긍정적으로 평가함
  빠르게 변하는 multi-agent systems나 agentic LLMs 분야에서는 명확한 기준이 필요함
  논문 유형, 데이터·코드 링크, 벤치마크 범위 등 기계 판독 가능한 메타데이터를 요구하면 신뢰성을 높일 수 있음
  ‘Survey’나 ‘Position’ 태그와 재현성 체크리스트를 표준화하면 초기 아이디어를 막지 않으면서도 품질을 유지할 수 있음

• arXiv는 이미 오래전부터 자기 홍보용 저품질 논문 문제를 겪고 있었음
  LLM 이전부터 존재한 현상임

  • 하지만 arXiv는 본질적으로 결과를 빠르게 공유하는 플랫폼이므로, 품질 저하가 ‘고통’이라기보다는 사용자가 스스로 걸러 읽어야 하는 구조라고 봄