arXiv 논문 12,750편에서 AI 문체를 측정한 방법과 한계

 (unslop.run)
1P by GN⁺ | ★ favorite | 댓글 1개
  • arXiv 논문 12,750편의 본문 전체를 분석한 결과, 최신 논문의 약 3분의 1이 기계 작성처럼 읽혔으며 최근 완결 분기 판정률은 약 32%였음
  • 2021~2022년 논문을 인간 작성 대조군으로 삼아 오탐률 0.4% 에 맞춰 임계값을 설정하고, 버전 1 PDF와 부트스트랩 95% 신뢰구간을 사용함
  • ChatGPT 등장 후 판정률이 두 차례 상승해 2026년 초 약 39%로 정점을 찍었으며, 2026년 7월까지 최근 12개월 기준으로 컴퓨터 과학은 65.0%, 수학은 0.7%였음
  • 수식과 정리·증명 구조가 많은 수학 논문은 탐지기의 학습 분포와 달라 낮게 측정될 수 있고, 실제 저자들이 사용한 비공개 모델·프롬프트 조합에 대한 성능도 평가할 수 없음
  • 판정 결과는 저자나 AI 생성 비중을 식별하지 못하고, 가벼운 편집과 전체 생성을 구분할 수도 없으므로 개인을 비난하는 근거가 아닌 기계적 문체 비중의 하한선으로 해석해야 함

오탐률을 기준으로 삼은 측정 설계

  • “콘텐츠의 N%가 AI”라는 수치는 탐지기가 실제 인간 문서까지 판정하는 비율을 함께 보지 않으면 가치가 떨어짐
    • 새 논문의 40%를 기계 작성으로 판정하면서 ChatGPT 이전 논문의 20%에도 같은 결과가 나온다면, 먼저 설명해야 할 수치는 20%의 오탐률임
  • 탐지기는 학술 문체에 맞춰 보정됨
    • 오탐률 0.4% 에서 LLM 이전의 실제 과학 문서 99.6%를 정상적으로 통과시킴
    • AI가 작성한 학술 문서의 85%를 탐지함
  • 2021~2022년 제출 논문을 인간 작성 정답 데이터로 간주하고, 정확히 0.4%만 판정되도록 임계값을 설정함
  • 모든 결과는 LLM 이전 문서가 설계상 0.4%에 머무르는 임계값을 넘은 논문의 비율임
  • ChatGPT 이전 연도는 내장 대조군 역할을 함
    • 상승세가 탐지기 자체에서 생긴 인공적 결과라면 2021~2022년도 2026년만큼 높게 나와야 하지만 실제로는 그렇지 않았음

표본과 분석 방법

  • 10개 분야 그룹에서 2023년 1월부터 2026년 7월까지 분야별·월별로 약 25편을 표집하고, 2021~2022년의 대조군 8개월을 더해 총 12,750편을 분석함
  • 각 논문의 버전 1 PDF를 사용해 2026년에 개정된 문구가 해당 논문의 2023년 표본에 섞이지 않도록 함
  • 초록 대신 본문 전체를 분석함
    • 같은 논문도 초록에서는 20% 미만, 본문에서는 70%를 넘긴 사례가 있어 초록만 분석하면 신호가 축소될 수 있음
  • 모든 수치에 부트스트랩 방식의 95% 신뢰구간을 적용함

전체 추세와 분야별 격차

  • 판정률은 2021~2022년 동안 0.4%로 유지되다가 ChatGPT 등장 후 수개월 이내 상승하기 시작함
  • 이후 두 차례 상승해 최근 완결 분기에 약 32% 를 기록했고, 2026년 초에는 약 39%로 정점을 찍음
  • 2026년 7월까지 최근 12개월의 분야별 결과는 다음과 같음
분야 LLM 이전 대조군 최근 판정 비율 95% 신뢰구간
컴퓨터 과학 0.2% 65.0% 59.3~70.3%
정량 생물학 3.5% 56.3% 51.0~61.7%
전기공학 및 시스템 1.7% 51.3% 46.0~57.0%
경제학 및 금융 2.5% 47.0% 41.3~52.7%
응용물리학 1.3% 34.0% 29.0~39.7%
통계학 1.8% 31.3% 26.0~36.7%
응집물질물리학 0.0% 24.0% 19.3~29.0%
고에너지물리학 0.5% 14.0% 10.0~18.0%
천체물리학 0.0% 10.7% 7.3~14.3%
수학 0.0% 0.7% 0.0~1.7%
  • 컴퓨터 과학이 약 65%로 가장 높고 수학은 약 0.7%로 가장 낮지만, 수학의 낮은 수치는 해석하기 어려움
  • 대조군 열은 각 분야의 2021~2022년 판정률을 세 가지 민감도 설정에 걸쳐 평균 낸 값임
  • 상승 폭이 큰 분야와 LLM 이전 대조군 수준이 높은 분야가 일치하지 않으므로, 높은 출발점만으로 이후 상승을 설명할 수 없음

분야별 대조군의 통계적 한계

  • 분야별 ChatGPT 이전 대조군은 각각 200편임
  • 오탐률 0.4%에서는 10개 분야의 대조군 2,000편 가운데 판정되는 논문이 8편뿐이어서, 단일 임계값에 따른 분야별 비율은 거칠게 측정됨
  • 전체를 합친 오탐 하한선은 충분히 추정됐고 연구 설계도 이를 기준으로 하지만, 분야별 대조군 수치는 근삿값에 불과함
  • 분야별로 1% 미만의 비율을 정밀하게 고정하려면 각 분야에서 수천 편의 대조 논문이 필요하지만, 2023년 이전 arXiv에는 이를 충족할 논문 수가 없음

낮은 점수와 탐지 사각지대

  • 낮은 점수는 AI 도입률이 낮다는 뜻일 수도 있고 탐지기의 사각지대를 반영한 결과일 수도 있음
  • 수학 논문은 수식과 정리·증명 구조가 중심이며, 수식과 참고문헌을 제거하면 남는 산문이 적고 탐지기가 학습한 과학 영어와도 다름
    • 모델의 도움을 많이 받아 작성한 수학 논문도 산문이 탐지기의 분포 밖에 있어 낮은 점수를 받을 수 있음
    • 따라서 수학의 결과만으로 낮은 도입률과 낮은 탐지 민감도를 구분하기 어려움
  • 산문 비중이 높아 탐지기의 학습 분포와 가장 잘 맞는 분야가 가장 크게 상승했으므로, 이 혼란 요인만으로 전체 상승 추세를 설명할 수는 없음
  • 점수가 낮은 분야의 순위는 AI 도입률의 하한선으로 읽어야 함
  • 탐지기는 생성 모델마다 민감도가 다르며, 저자들이 실제 사용한 비공개 모델과 프롬프트의 정확한 조합을 평가할 수 없음
  • 불완전한 탐지 범위는 판정률을 낮추므로 측정된 비율은 실제 기계적 문체 비중의 하한선이며, 생성기별 성능은 탐지기 설명에서 확인할 수 있음

판정 결과로 알 수 없는 것

  • 탐지기는 알려진 오류율과 보정된 확률을 바탕으로 문서가 기계 작성처럼 읽히는지 추정함
  • 가볍게 편집된 문서와 전부 생성된 문서를 구분할 수 없으며, 단일 점수는 특정 개인을 비난할 근거가 될 수 없음
  • 측정 대상은 저자 신원이나 생성 비중이 아니라 AI를 많이 활용한 편집까지 포함하는 기계적 문체의 비율임
  • arXiv 논문은 무료 검사 페이지, 일반 텍스트는 텍스트 검사 페이지에서 확인할 수 있으며 탐지기 운영으로 수익을 얻지 않음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 2011년에 쓴 PyHPC 워크숍 논문은 기계 작성 27%, 2012년 박사학위 논문은 기준치 42% 바로 아래인 40%로 판정됐음
    더는 논문을 출판하지 않지만, 내가 LLM처럼 쓴 것인지 LLM이 내 글에서 배운 것인지 모르겠음. 2015년 IEEE CLUSTERS 논문은 무려 74% 가 나옴

    • 초기 탐지기들은 미국 독립선언문도 AI 작성 확률 100%로 판정했으니 이런 도구는 제대로 작동하지 않음
      더 위험한 점은 원리를 모르는 사람들이 이를 근거로 AI 사용을 단정해 학생들에게 심각한 불이익을 준다는 것이며, 이미 모든 교육 단계에서 벌어지고 있음
    • “AI 생성 콘텐츠나 딥페이크를 탐지하려는 시도에는 근본적 결함이 있음. 탐지 결과로 더 뛰어난 가짜 데이터 생성기를 훈련할 수 있기 때문임. 결국 디지털 영역에서는 아무것도 진짜라고 단정할 수 없는 디지털 불확실성의 균형 상태에 도달함. 디지털 결과물이 인간과 AI 중 누구에게서 나왔는지는 중요하지 않고, 내게 유용한지만 중요함. 유용한 콘텐츠는 핵심에 맞고 사실에 부합하며, 가능하면 새로운 것을 가르쳐줄 만큼 놀라워야 함.” - https://seanpedersen.github.io/posts/digital-uncertainty/
    • 그 논문들이 실제로 훈련 데이터셋에 들어갔을 가능성도 있지 않을까?
    • 저작물을 학습한 뒤 증류까지 했다면 오탐 잡음이 터무니없이 클 수밖에 없음

  • 2021~2026년 arXiv 논문 12,750편의 전문을 분석해 기계 작성으로 판정되는 비율과 ChatGPT 출시 이후 증가 폭을 조사했음
    오탐을 피하도록 탐지기를 의도적으로 조정해 ChatGPT 이전 탐지율은 약 0.4%였음. 2026년 1월에는 전체 논문의 약 39%, 컴퓨터 과학에서는 최고 65%가 AI 작성으로 판정됐고, 수학은 0.7%에서 거의 움직이지 않았지만 증명 중심 문체를 제대로 포착하지 못했을 수도 있음. 이는 통계적 신호의 추정치일 뿐 특정 저자가 AI를 사용했다는 증거가 아니며, 기계 작성에는 강한 AI 보조 편집도 포함될 수 있음

    • 어떤 탐지기를 사용했으며, 상용 AI 탐지기가 모두 반박된 상황에서 정확성을 어떻게 확신할 수 있는지 궁금함
    • 시계열 결과는 상당히 설득력 있어 보이지만, 탐지기 훈련 방식이 이 분석과 독립적인지 궁금함
      ChatGPT 이전 문서가 양성 훈련 데이터에 포함되는 식의 누수가 있을 수도 있음
    • LLM 이전 문서에서 나온 오탐 사례를 공개해주면 무엇이 탐지기를 자극하는지 알 수 있을 듯함
      LLM이 등장하기 전에도 극소수 저자가 LLM처럼 썼던 것인지 궁금함
    • 2020년 이전 논문까지 확장하면 탐지 시스템의 기준 정확도를 더 잘 파악할 수 있음
    • 모델을 로컬에서 실행할 수 있는지, 아니면 모든 arXiv 사전 공개 논문의 결과표를 제공할 수 있는지 궁금함
      많은 논문을 검사하면서 서버에 과부하를 주고 싶지는 않음

  • 기업의 LLM 사용에는 실제로 게임 이론적 유인이 작동함
    개발자들은 Claude Code를 닥치는 대로 사용해 겉보기에는 더 나은 코드와 문서를 대량 생산하고, 경영진은 당장 단점이 보이지 않아 이를 장려함. 구조적 품질은 불확실하지만 잘못된 지표로는 생산량만 보이므로, 인지 능력 퇴화를 감수할 가치가 있는지 판단하려면 수년이 걸릴 것임. 하루 종일 LLM을 쓰지 않는 사람은 생산량에서 밀릴 수밖에 없으며, 출판량이 중시되는 과학계에도 같은 압력이 작동할 가능성이 큼

    • 기초 생의학 연구에서는 LLM이 원시 습식 실험 데이터를 대부분 해석하지 못해 대체로 무시되고 있음
      그럼에도 수많은 스타트업과 신임 조교수들이 “AI”로 새 영역을 개척한다고 내세우지만, 실제로 가장 효과적인 접근은 LLM보다 기계학습을 사용함
    • ChatGPT-5.6 Sol의 도움을 받아 2,800줄짜리 Python 기반 Rhino3D 형상을 Python 기반 OCCT/FreeCAD로 이식하고 있는데, 절반 정도 진행한 시점에 36,000줄까지 늘어났음
      중복 최소화와 코드 축소를 목표로 계속 지시했지만 결과는 “형편없어도 내게는 유용함”에 가까움. 이 정도 유용성도 무시할 수 없지만, 넘치는 변기를 보며 가치가 극대화됐다고 착각하는 경영진은 두려움
    • LLM 코드는 무능한 개발자의 코드보다는 낫고, 의욕 있는 평균 개발자의 코드보다는 못하지만 대체로 충분히 쓸 만함
      진짜 어려운 질문은 투입 시간·비용 대비 품질이며, 현재로서는 구독 요금 기준 opus/fable 생성 코드가 충분히 유리하다고 봄
    • 가격 인상 전에는 경영진이 무조건 사용을 밀어붙일까 봐 크게 걱정했지만, 이제는 AI가 너무 비싸져 대기업의 추가 도입을 정당화하지 못하기를 바라고 있음
      새 도구 자체는 좋지만 관리 지표를 맞추려고 특정 도구 사용을 강요받는 것은 싫음
    • 인지 능력 퇴화 자체가 목적일 수도 있음
      인간이 AI에 의존하게 되면 기업은 자신들에게 유리하게 법을 바꿀 영향력을 얻음. 시민이 도심의 거대 데이터센터를 반대해도 기업은 그 데이터센터가 공급하는 AI 없이는 아무것도 할 수 없다고 압박할 수 있으므로, 인간을 무능하고 의존적으로 만드는 것이 핵심일 수 있음

  • 텍스트만 사용하는 모든 AI 탐지 방식과 마찬가지로 정확성이 우려됨
    특히 세 탐지기 점수를 마지막에 결합하는 과정이 편향을 만들지 않는다고 어떻게 확신하는지 모르겠고, 소스가 없어 작동 방식을 검토하거나 연구를 재현하기도 어려움. LLM 이전에 직접 작성한 비공개 연구도 높은 점수를 받았고, 다른 논문에서는 거의 모든 문장이 빨간색 “machine-leaning”으로 표시되면서도 점수에는 영향을 주지 않았음. 동일한 텍스트도 LaTeX 서식 유무에 따라 점수가 크게 달라졌음. 결론은 “생성 텍스트 탐지는 어려우며, 가설을 확인해준다는 이유만으로 결과를 받아들여서는 안 됨”이어야 함. 이 글 역시 방금 직접 썼는데 기계 작성 점수가 높게 나옴

    • 가장 우려되는 용도는 학교에서 부정행위 학생을 적발하는 데 이런 도구를 쓰는 것임

  • 학술 환경에서 같은 문제를 살펴본 결과, 텍스트만으로 AI 작문을 신뢰성 있게 탐지하는 것은 불가능하다고 결론 내렸음
    인간과 LLM이 우연히 완전히 같은 문단을 썼다면 동일한 입력 하나를 합성과 인간 작성으로 구분할 방법이 없음. 실제로 LLM 특유의 흔적은 있지만 시간과 모델에 따라 달라져, 합성처럼 보이는 인간 글과 인간처럼 보이는 합성 글을 구별할 수 없음. 더 흥미로운 접근은 에세이 말뭉치에서 어휘, 언어적 특징, 문체 임베딩, 일반 임베딩, 오탈자, 오류, 참고문헌이 LLM 도입 이후 어떻게 변했는지 분석하는 것임. 집단 수준에서 학술 문체가 변한 것은 분명하지만 원인을 추적하기는 어려움

    • 아주 짧은 구절이 아니라면 가능한 표현은 빠르게 조합 폭발을 일으키므로, 유한한 조합 때문에 완벽한 분류가 불가능하다는 설명에는 동의하지 않음
      촘스키의 말처럼 사람이 말하거나 이해하는 거의 모든 문장은 우주 역사상 처음 등장하는 단어 조합임. 더 큰 어려움은 LLM이 하나의 고정된 표현만 만들지 않으며, 텍스트의 정보 밀도가 낮아 좁은 신뢰구간으로 통계 검정을 하려면 상당한 분량이 필요하다는 데 있음

  • 읽는 논문의 65%가 AI 작성 특성을 보이면 직접 AI를 쓰지 않더라도 AI 문체의 영향을 받게 됨
    특히 아직 문체를 형성 중인 신입 연구자에게 더 강하게 나타날 가능성이 큼

    • AI 문체의 영향은 특정 단어나 수사적 표현처럼 부분적으로 나타나겠지만, AI 생성문은 대개 출력 전체에서 일관되게 AI처럼 들림
      인간이 AI의 구문 패턴을 장시간 유지하려면 현재 누구도 완전히 알기 어려운 패턴을 파악하고 각 절을 그림 위조처럼 세밀하게 조정해야 함. 또한 AI 문체도 변해서, 대표적 징후였던 delve는 2024년 중반 이후 급감해 이제 LLM 출력에서 거의 사라졌음. 이를 따라 배운 인간의 글은 오히려 현재 AI 문체와 덜 비슷해짐
    • 그 20%가 뜻하는 바는 탐지 도구가 생각만큼 신뢰할 수 없거나, AI가 인간의 글을 학습해 기존 인간 문체 일부가 이제 AI 잡문의 특징이 됐다는 것일 수 있음
      AI 이전에도 잡문을 만들어내던 사람은 있었음

  • 영어 원어민이 아니라서 대부분의 논문이 AI 탐지기에 걸린다는 결과가 놀랍지 않음
    LLM에 논문 전체를 써달라고 해서가 아니라 과학적 문체에 익숙하지 않은데 미국 편집자들이 이를 요구하기 때문임. 기본 문장으로 아이디어를 쓰고 LLM으로 매끄럽게 바꿀 수 있음. 각 문단을 직접 쓴 뒤 더 과학적으로 다듬으면 내용은 온전히 자기 것이어도 LLM 생성으로 판정됨. 반대로 영어를 충분히 잘 다듬으면 LLM이 쓴 논문도 인간 글처럼 보이게 할 수 있음

    • 바로 예상했던 사용 방식이며, 잘못됐다고 볼 이유가 없음
    • 영어 실력에는 문제가 없고 석사 논문도 직접 영어로 썼지만, 과학적 문체로 쓰는 작업은 매우 고됨
      다시 논문을 쓴다면 손으로 전부 작성할 생각은 없으며, 내용이 의도와 일치하는지 검증하고 잘못 쓴 부분을 고친다면 문제없음. 영어 원어민이 쓴 논문 중에도 LLM으로 다시 쓰면 훨씬 나아질 글이 많음
    • 이것은 잘못된 행위임
    • “더 과학적으로” 바꾸는 일은 원래 의미를 충실히 보존하는 단순한 문체 수정이 아님
      각 문단의 세부 표현은 무엇을 어떻게 전달하는지에 큰 영향을 주므로 온전히 자기 논문이라고 보기 어려움. 애초에 과학적으로 보이는 문체를 추구할 이유도 의문이며, 가장 잘 쓰인 논문은 허세 없이 대화하듯 읽힘. 외부 압력이 있다는 것은 이해하지만 LLM 문장보다 작성자의 기본 문장이 더 나을 듯함
    • LLM으로 문법·철자를 교정하는 것과 텍스트를 생성하는 것 사이에는 미묘한 경계가 있음

  • 이런 논문은 장황하고 상투적인 부분이 많으므로 AI가 90%를 쓰고, 실제로 새로운 내용과 중요성에 대한 설명만 인간이 작성했을 수도 있음
    어쩌면 실제로 그런 방식이 확산 중일 수 있음

    • 논문의 90%가 상투적 문구라면 학술 논문으로 출판할 가치가 있는 내용인지부터 물어야 함
    • 과학 활동에서 글쓰기는 대부분 낭비되는 시간이며, 기계가 능숙하게 할 수 있다면 연구자가 직접 작성할 이유가 적음
      일부는 글쓰기 예술가일 수 있지만 대부분은 그렇지 않음

  • 탐지기가 단순히 2022년 이후 문헌에서 늘어난 단어와 전문용어를 AI 특징으로 학습했을 가능성이 있음
    예를 들어 LLM과 이를 쓰는 사람들은 LLM을 자주 다루므로 “large language model”이라는 표현 자체가 AI답다고 판정될 수 있음. 이 표현은 2022년 이전에는 드물고 현재와 AI 생성문에서 많이 등장하지만, 현대의 인간 글과 AI 글을 구분하는 좋은 특징은 아님. 2023년 이후에도 LLM 생성문이 거의 없다고 합리적으로 볼 수 있는 대조군에서 arXiv보다 훨씬 낮은 탐지율을 보여야 함. Nature와 Science도 완전히 자유롭지는 않겠지만 2026년까지 검사한다면 arXiv보다 훨씬 낮은 증가 곡선이 나와야 함

    • 타당한 가능성이지만 직감상 실제 탐지 논문의 작은 일부만 설명할 듯함
      탐지기를 갱신할 때 이를 완화할 방법을 살펴보겠지만, 2023년 이후의 깨끗한 데이터셋을 확보하기가 어려움. 다른 AI 탐지기로 만들면 결국 그 탐지기보다 나아질 수 없음

  • 합의 프로토콜 등을 연구하는 여러 연구자에게 논문 작성과 연구 중 무엇을 선호하는지 물었더니 거의 모두 연구 자체를 택했음
    글쓰기를 더 좋아했다면 다른 직업을 골랐을 가능성이 큼. LLM이 연구 도표와 코드 등을 논문이나 초안으로 바꿔준다면 양질의 연구 논문이 오히려 늘 수 있음. “연구는 하고 싶지만 논문 작성이 번거롭다”는 마찰이 줄어들기 때문임. 연구 역량과 글쓰기 혐오를 두 축으로 놓으면 두 값이 모두 높은 연구자들의 결과물을 LLM이 끌어낼 수 있음. 나쁜 논문도 늘겠지만 장기적으로는 순효과가 긍정적일 가능성이 있음

답변달기