테렌스 타오: 저널에서 논문 거절을 받음

• 세계적인 수학자 테렌스 타오도 저널과 논문이 맞지 않는다는 이유로 거절을 받았고, 판단을 대체로 받아들여 더 적절해 보이는 저널에 재투고함
• 타오에게도 논문 거절은 드문 예외가 아니라 평균적으로 연 1~2회 생기는 일이며, 주변 학생과 동료들은 그의 거절률이 0이 아니라는 사실에 놀라곤 함
• 학계에서는 게재 승인이나 증명 성공 같은 사례가 훨씬 더 잘 보이기 때문에, 평범한 실패가 자신에게만 일어나는 것처럼 느껴질 수 있음
• 과거에는 epsilon loss가 있는 거의 해결 논문과 이후의 완전한 증명 논문이 모두 같은 고평판 저널에서 서로 다른 이유로 거절된 사례도 있었음
• 저널 거절은 개인적 평가로 받아들이기보다, 심사에서 나온 문제를 반영해 논문을 고치고 다른 저널로 옮기는 편이 실용적임

---

이번 거절과 재투고

• 테렌스 타오는 자신이 투고한 논문 한 편이 저널에서 거절됐다고 공개함
• 저널의 편지는 논문이 흥미롭지만 해당 저널에는 잘 맞지 않는다는 정중한 내용이었음
• 타오는 그 결론에 대체로 동의했고, 더 적절하길 바라는 다른 저널에 논문을 다시 제출함

학계에서 잘 보이지 않는 평범한 실패

• 타오에게 논문 거절은 비교적 흔한 일로, 평균적으로 1년에 한두 번 발생함
• 그는 이 사실을 학생과 동료에게 가끔 말해 왔고, 일부는 그의 거절률이 0이 아니라는 점에 놀람
• 학계에서는 성공이 실패보다 훨씬 잘 공유됨
  • 논문이 게재 승인됨
  • 어떤 결과가 증명됨
• 반대로 논란이 있지 않은 실패는 잘 퍼지지 않음
  • 논문이 거절됨
  • 증명 시도가 작동하지 않음
• 이런 보고 편향 때문에 주변 사람들은 성공하거나 논란이 되는 일만 겪는 것처럼 보이고, 자신의 경력만 평범한 실패로 채워진 듯 느껴질 수 있음
• 타오는 이런 구조가 해당 분야에 널리 있는 가면 증후군(impostor syndrome) 의 한 원인일 수 있다고 봄
  • 다만 가면 증후군 자체도 보고 편향과 낙인 때문에 널리 공유되지 않을 수 있음
• 이번 거절 공개는 더 정확한 공개를 위한 작은 행동에 가까움

epsilon loss와 epsilon improvement가 만든 역설

• 타오는 과거 일부 거절이 돌이켜보면 우스운 사례가 됐다고 설명함
• 공동저자와 함께 한 추측을 거의 해결한 적이 있음
  • 핵심 매개변수에서 epsilon loss를 둔 형태로 결과를 확립함
  • 고평판 저널에 제출했지만, 전체 추측을 해결하지 못했다는 이유로 거절됨
  • 이후 다른 저널에 제출했고 논문은 승인됨
• 이듬해에는 같은 추측을 epsilon loss 없이 완전히 증명함
  • 다시 그 고평판 저널에 제출했지만, 이번에는 기존 문헌 대비 epsilon improvement에 불과하다는 이유로 거절됨
  • 이 논문도 다른 저널에 제출되어 승인됨
• 타오는 이후 그 선택적인 저널에도 논문을 게재한 적이 있음

편집자 입장에서 보는 거절

• 타오는 자신도 편집자로서 괜찮은 투고를 여러 이유로 거절해야 했던 경험이 있음
• 이런 종류의 거절은 개인적으로 받아들이지 않는 편이 낫다고 봄
• 논문은 거절에서 제기된 문제를 반영해 수정한 뒤 다른 저널로 옮기는 것이 좋음

심사 과정과 이해상충

• 한 댓글이 “보복성 거절” 가능성을 묻자, 타오는 그런 적이 없다고 답함
• 저널 제출 과정에서는 감정적으로 달아오른 반응이 크게 작용하기 어려움
  • 심사 보고서 사이에는 수개월이 걸림
  • 편집위원회 논의 사이에는 수주가 걸림
  • 업무 대부분은 이메일과 편집 플랫폼에서, 편집자들이 시간을 낼 때 진행됨
• 편집자나 심사자가 저자와 개인적·전문적 관계가 있어 객관성을 해칠 수 있으면 회피(recuse) 하는 일은 드물지 않음
• 비슷한 이유로 저자는 가까운 친구나 전문적 동료인 편집자에게 제출하지 않는 편이 일반적으로 좋음
  • 그 편집자가 회피하고 논문을 다른 편집자에게 넘겨야 할 수 있기 때문임

타오가 겪은 가면 증후군

• 타오는 자신도 가면 증후군을 여러 번 겪었다고 답함
• 특히 중요한 주제이고 자신의 관심사와 관련은 있지만, 권위 있게 말할 경험이 없는 분야의 보고서를 만드는 위원회 의장을 맡았을 때 그런 감정을 느낌
• 그는 다른 위원들이 자신보다 훨씬 더 많은 경험을 갖고 있다는 점을 알게 됨
• 이후 의장의 역할은 대부분의 내용을 직접 만드는 것이 아니라, 다른 위원들이 생각과 아이디어를 기꺼이 내도록 환경과 구조를 만드는 것이라고 이해함

새 수학 분야에 들어갈 때의 보완 방식

• 타오는 수학의 새 하위 분야에 들어갈 때도 비슷한 감정을 겪음
• 특히 algebra나 topology가 많이 관련된 분야에서 그랬으며, 이들은 자신에게 늘 가장 약한 수학 분야였다고 밝힘
• 필요한 전문성은 여러 방식으로 보완함
  • 공동저자가 해당 영역의 전문성을 제공하는 경우가 많음
  • 그런 협업은 타오에게 매우 가치 있는 학습 경험이 됨
  • 대학원 시절까지 거슬러 올라가는 오래된 친구들에게 기초를 물어보기도 함
• Wikipedia, MathOverflow, 최근에는 대형 언어 모델도 배경 정보를 얻는 데 꽤 좋다고 봄
  • 개념의 올바른 표기
  • 왜 연구되는지
  • 표준 참고문헌이 무엇인지
• 다만 이런 자료는 지식의 출발점이지 최종 답이 아니며, 가능한 한 독립적으로 정보를 검증해야 함

[GN⁺]

Hacker News 의견들

• 2005년에 같은 L1 캐시를 공유하는 다른 하이퍼스레드에서 단일 개인키 연산을 관찰해 RSA를 깨는 논문을 냈는데, “CPU 아키텍처 이야기이지 암호학이 아니다”라는 이유로 암호학 프리프린트 아카이브에서 거절당했음
  공유 캐시를 이용한 암호 공격으로는 문자 그대로 첫 출판물이었고, 저널 거절은 벤처캐피털 거절과 비슷해서 늘 일어나며 꼭 타당한 이유가 있는 것도 아님
  이 논문은 저널에 실린 적이 없는데도 Google Scholar 기준 971회 인용됨

  • 그 저널이 손해를 봤음. 실렸다면 h-지수와 평판이 꽤 올라갔을 것임
  • 시간은 어떤 저널의 누구보다도 더 나은 평가자임
  • arXiv에 올라가 있나? 아니라면 올려줬으면 함

• 제목이 헷갈렸던 건 논문 거절이 연구에서는 엄청 흔하기 때문인데, 바로 그게 핵심이고 목표 중 하나가 가면 증후군을 줄이는 것임
  좋은 시도라고 봄. 다음 단계는 연구자도 결국 다른 사람들과 같은 평범한 사람이라는 걸 모두가 깨닫는 것일 수 있음. 그러면 남은 가면 증후군도 사라질지 모름
  다만 박사과정 중에는 거절이 흔하더라도 꽤 힘듦. 짧은 기간 안에 가능하면 권위 있는 학술지에 여러 편을 실어야 한다는 기대가 있고, 거절 하나가 속도를 늦추는데 시간은 계속 가는 느낌임. 이런 해로운 시스템의 일부라도 줄일 수 있으면 좋겠음

  • 이게 눈에 띄는 이유는 Terence Tao가 올린 글이기 때문임. 많은 사람이 현존 최고의 수학자로 보는 인물임
    전체 글을 읽으면 같은 요지를 말하고 있음. Terence Tao조차 논문 거절을 당하는 것은 흔하고 정상적인 일이니, 거절을 세상의 끝처럼 받아들이지 말라는 뜻임
  • Terence Tao 같은 사람이 말해서 특히 중요함. 가장 뛰어난 수학자 중 한 명도 논문을 거절당한다면, 문자 그대로 누구에게나 일어날 수 있음
  • 그도 완벽하지 않다는 걸 아는 건 좋지만, 그의 업적은 여전히 내 업적을 압도하니 내 가면 증후군은 그대로임
  • 연구자들이 “다른 사람들과 같다”는 말에는 반대함. 그들은 10년 이상 한 분야의 기술과 지식을 갈고닦아 하위 분야, 때로는 전체 분야의 전문가가 된 사람들임
    이 맥락에서는 결코 무작위의 평범한 사람들이 아님
  • Terence Tao가 가면 증후군을 겪는다고? 오히려 가면 증후군이 Terence Tao를 겪고 있는 셈 아닌가. 혹시 Terence Tao가 누군지 모르는 건가?

• Adam Grant가 한 번 재미있는 이중맹검 심사 거절을 소개한 적이 있음. 심사자 중 한 명이 “저자는 Adam Grant의 연구를 익히는 편이 좋겠다”는 식으로 거절 사유를 썼음

  • 현실이 예술을 따라감. 1986년 코미디 영화 Back to School에서 Rodney Dangerfield의 캐릭터는 대학 과제를 각 분야 전문가에게 맡김
    영문학 교사는 그를 꾸짖으며, 명백히 부정행위를 했을 뿐 아니라 Kurt Vonnegut의 작품도 모르는 사람의 에세이를 베꼈다고 말함. 물론 그 에세이는 카메오로 나온 Vonnegut 본인이 쓴 것이었음
  • 미리 말하자면, 이 경우가 수학에서도 해당되는지는 충분히 알지 못함
    이런 이야기를 자주 듣지만, 실제로도 일어나는 현상임. 유명한 원로 연구자들은 자기 연구를 과하게 인용하지 않으려 조심하거나, 자기 연구에 너무 익숙해서 문헌 검토에 충분히 넣지 않는 경우가 있음
    분야의 다른 사람들에게는 유명 인물 X의 연구가 문헌 검토의 상당 부분을 차지해야 하고, 새 연구가 X의 이전 패러다임 전환적 연구를 어떻게 잇는지 명시해야 한다는 게 당연함
    특정 독자를 상대로 자기 과거 연구를 서술하는 일을 여러 이유로 못할 수 있고, 많은 원로 학자들이 실제로 자주 그럼. 그래서 그 글이 대학원생의 글과 구분되지 않아 거절될 수 있음
  • 이런 일은 꽤 흔함. 게다가 꼭 불합리한 것도 아님. 논문을 쓰면서 자기 자신의 관련 연구를 충분히 맥락화하지 못할 때가 있음
  • 심사자로서 비슷한 실수를 한 적이 있음. 저자의 초기 원고가 예전 논문과 모순되는 것처럼 보였는데, 내가 일부 맥락을 놓치고 있었음
  • 악마의 변호인을 해보자면, 인간의 기억은 완벽하지 않고 사람은 실수함. Adam Grant도 복습 삼아 자기 이전 연구를 읽었어야 했을 수 있음
    틀리지 않았더라도, 자기가 출판했다고 생각했지만 실제로는 빠뜨린 내용이 있었을 가능성도 있음
    개발자로서 끔찍한 코드를 보고 화가 나서 누가 이런 괴물을 썼는지 찾다가 그게 자신이었다는 걸 깨달은 적이 있다면, 바로 그런 느낌임

• 연구자들이 자기 실패를 공개할 때 신선하게 느껴짐. 과학은 부정적 결과, 오류, 거절로 이루어져 있는데도 보통은 훨씬 비현실적인 모습으로 묘사됨
  이미 아는 사람도 있겠지만, Journal of Negative Results 링크는 여기임: https://www.jnr-eeb.org/index.php/jnr

• Terence Tao가 아직도 수학 저널에서 논문을 거절당한다는 사실이 꽤 놀라움. 그래도 그가 공유해줘서 고맙고, 그에게서 이런 이야기를 들으면 신진 과학자들이 거절에 덜 낙담할 수 있을 것임
  운 좋게 내 분야에서 가장 유명한 사람 중 한 명과 박사후연구원을 할 기회가 있었는데, 이름값이 얼마나 큰 차이를 만드는지 보고 충격을 받았음
  그를 교신저자로 제출했을 때는 최상위 저널에서 논문 거절을 한 번도 당하지 않았음. 그 이름이 아니었다면 편집자들은 내 연구가 근본적으로 충분히 흥미로운 주제가 아니라며 거절했을 거라고 꽤 확신함. 유명인이 어떤 것에 관심 있다는 사실만으로도 그 자체가 고영향 주제가 될 수 있음

  • Terence Tao조차 수학 저널에서 거절당한다면, 적어도 시스템이 어느 정도는 제대로 작동하는 순간도 있다는 뜻임
  • 그가 먼저 논문을 검토해서 출판하기 적절한 상태로 만들었기 때문일 수도 있지 않나? 아니면 정말 이름값만의 효과였고, 그 없이 냈다면 받아들여지지 않았을 거라고 보는 건가?

• 스승은 초보자가 시도한 것보다 더 많이 실패했다

• “거절은 사실 내게 비교적 흔한 일이고, 평균적으로 1년에 한두 번 일어난다”
  이건 초인이 보통 사람에게 공감하려고 하는 느낌임

• 0이 아닌 실패율은 여러 지표의 최적 범위를 찾는 데 유용한 피드백을 주기 때문에 종종 최적일 수 있음. 예를 들면 속도, 품질, 최소 출판 가능 단위(LPU) 같은 것들임
  다만 학술 출판과 심사에 들어가는 노동을 생각하면 최적 거절률은 꽤 낮아야 함. 즉 논문을 사전에 걸러내는 더 낮은 비용의 방법이 필요함. 반면 심사자들은 거절된 논문에서도 가치를 얻을 수 있음
  [1] least publishable unit

• 물리학에 오래 있으면 언젠가는 약 4쪽으로 제한된 Physical Review Letters에 논문을 냈다가 “충분히 일반적 관심사가 아니다”라는 이유로 거절당하고, 이후 The Physical Review의 다른 섹션에 다시 내서 통과되는 일을 겪게 됨
  요즘은 문제 해결 관점에서 컴퓨터과학 논문을 많이 읽는데, 개인적으로 짧은 논문은 대체로 쓸모없다고 느낄 때가 많음. 예를 들어 개체명 인식에 좋은 순위 함수를 제시한다고 해서 4쪽짜리 논문에 30달러를 냈는데, 실제로는 좋은 순위 함수가 아닌 식임

• 물론 최상위 수학자들도 논문 거절을 당함
  하지만 더 중요한 점은 최상위 수학 저널에 논문을 낼 수 있는 사람이 극히 적다는 것임