세계에서 가장 오래된 대학 중 하나의 신임 총장이 인용 카르텔을 조직한 정황
(english.elpais.com)- 학술 인용이 평판·승진·급여·대형 프로젝트에 영향을 주는 구조에서, 살라망카 대학교 신임 총장 Juan Manuel Corchado가 조직적 상호 인용으로 영향력을 키운 정황이 드러남
- 내부 메시지에는 석사논문·최종과제·학위논문·학술지·컨퍼런스 논문에 Corchado 논문과 그가 편집하는 ADCAIJ 논문을 넣으라는 지시가 남아 있음
- 일부 논문은 주제와 무관한 참고문헌까지 포함해 Corchado 또는 ADCAIJ 인용 비중이 97~100% 에 달했으며, 전력 배전망 보안 논문에도 방광암·해양 CO₂·오일 유출 연구가 들어감
- Springer Nature는 사건을 검토하겠다고 밝혔고, Elsevier는 Corchado와 협업자 3명이 2019년에 낸 연구를 석사논문 표절로 이미 철회함
- 스페인 Research Ethics Committee가 조사에 착수하면서, 전문가들은 이 사건을 연구자 평가 시스템과 대학 내부 감시 체계의 취약성을 보여주는 사례로 봄
내부 메시지로 드러난 인용 지시
- Juan Manuel Corchado는 살라망카 대학교 총장으로 임명된 인물이며, 과거 자신을 스페인 4위·세계 247위권 컴퓨팅 연구자로 홍보함
- 이 순위 상승에는 서로 논문을 인용해 주는 과학자 집단인 인용 카르텔이 작동한 것으로 지목됨
- 내부 메시지에는 Corchado의 그룹이 논문마다 Corchado 본인 또는 그가 편집하는 Advances in Distributed Computing and Artificial Intelligence Journal (ADCAIJ)을 인용하도록 한 지시가 포함됨
- 2017년 6월 7일 한 보조자는 석사논문, 최종 프로젝트, 학위논문 등에 첨부된 Word 문서의 Corchado 참고문헌 20개와 ADCAIJ 논문 10개를 넣으라고 지시함
- 첨부 파일에는 Corchado 논문 약 50개가 포함됨
- 같은 보조자는 “복사해 붙여 넣기” 쉽도록 참고문헌을 첨부한다고 덧붙임
- 2017년 7월 26일 다른 보조자는 다음 학술지나 컨퍼런스 논문에 Corchado 논문을 인용하라는 지시를 전달함
- 첨부 목록 첫머리에는 오일 유출 관련 Corchado 논문이 들어 있었음
참고문헌에서 반복된 이상 패턴
- 2019년 1월 9일 Roberto Casado Vara는 전력 배전망 컴퓨터 보안 논문을 냈고, 참고문헌 31개 중 29개, 즉 94% 가 Corchado 논문이었음
- 참고문헌에는 논문 주제와 무관한 방광암 위험, 해양 CO₂, 오일 유출, 미세조류 적조 연구가 포함됨
- 같은 날 Casado Vara가 낸 3편의 논문에서는 참고문헌의 97~100% 가 Corchado 또는 ADCAIJ 인용으로 채워짐
- Casado Vara는 Corchado가 박사 지도교수였던 인물이며, 박사학위 방어 3년 뒤인 2022년 Stanford University의 인용 연구자 목록에 들어감
- Scopus 분석에서는 Corchado 협업자들이 75개 출판물에서 Corchado를 거의 1,700회, ADCAIJ를 520회 언급한 것으로 나타남
- Pedro Tomás Nevado-Batalla의 공공행정 현대화 관련 연구는 Corchado 논문 42건과 ADCAIJ 7건을 인용함
- 해당 논문의 인용 중 92% 가 Corchado 또는 그의 저널에 대한 인용이었음
- Nevado-Batalla는 이런 참고문헌이 자신의 작업에 추가된 사실을 몰랐고 해명을 요청하겠다고 밝힘
출판사와 연구윤리 조사
- Springer 출판사의 컨퍼런스 기록은 Corchado가 자기인용 묶음을 넣는 수단으로 사용됨
- Springer Nature의 Research Integrity Director인 Chris Graf는 사건을 “매우 신중하게” 검토하겠다고 밝힘
- 조사 후 적절하다면 편집상 조치를 취하겠다고 함
- Elsevier는 Corchado와 협업자 3명이 2019년에 발표한 연구를 이미 철회함
- 철회 사유는 석사논문 표절임
- EL PAÍS 보도 이후 스페인 Ministry of Science는 Spanish Research Ethics Committee가 Corchado에 대한 조사를 시작했다고 발표함
- Corchado는 살라망카 대학교 공식 채널의 익명 성명을 통해 자신의 “명예와 과학적 진실성”을 방어하고, Scopus와 Web of Science에서 출판 영향력을 평가하라고 권함
온라인 계정과 저장소 조작 의혹
- Corchado는 자신의 출판물에 수천 건의 자기인용을 추가하고 그룹 구성원들에게 자신을 인용하도록 요구한 것 외에도, 존재하지 않는 과학자의 허위 온라인 계정에서 이득을 본 것으로 지목됨
- ResearchGate에는 Devika Rout, Marcus Ress 같은 존재하지 않는 연구자 계정이 Corchado 연구를 반복적으로 언급함
- 3월 이후 Corchado는 이런 허위 프로필을 대규모로 삭제했고, 살라망카 대학교의 Gredos 저장소에 올렸던 명백한 조작 출판물도 삭제함
- 3월 13일 전화 인터뷰에서 Corchado는 자신을 인용하는 허위 온라인 계정이 “20~30개” 있다고 말함
- 그는 이 계정들이 자신을 해치려는 불만을 가진 전 직원들이 만들었다고 설명함
- 이어 “한 청년”이 ResearchGate 조작 가능성을 보여주기 위해 만들었다고도 설명함
- ResearchGate 대변인은 컴퓨터 공격을 인지하지 못했으며, 프로필 삭제는 비밀번호를 가진 생성자만 할 수 있다고 밝힘
전문가 반응과 대학 선거
- 살라망카 대학교는 1218년에 설립된 기관이며, University of Vigo 전 총장이자 인용 카르텔 전문가인 Domingo Docampo는 Corchado가 이런 지위에 출마하지 말았어야 한다고 비판함
- 그는 실질적 내용이 없는 출판물이 인용 농장의 매개체가 됐고, 논문 서명자들에게 영향력을 가진 인물이 꼭대기에 있는 피라미드형 구조라고 평가함
- University of Santiago de Compostela의 Alberto Ruano는 이를 “교과서적인 인용 카르텔 사례”라고 부름
- Corchado가 대표 기관에 피해를 주고 있으며, 살라망카 대학교의 신뢰성과 스페인 대학 교수 전체에도 영향을 준다고 봄
- Ministry와 Conference of Rectors of Spanish Universities가 유사 사례를 피하기 위한 조치를 취해야 한다고 촉구함
- Corchado는 전 총장의 갑작스러운 사임 뒤 유일 후보로 출마해 5월 7일 선거에서 승리함
- 투표 대상 33,000명 중 6.5% 의 지지를 받음
- 교수진 절반은 항의 표시로 백지 투표함
- Corchado는 2018년 민간 기관 AIR Institute를 만들었고, 이 기관은 Castilla y León 지역정부가 수여한 수백만 유로 규모 프로젝트를 관리함
평가 시스템 개혁 논의
- 과학 평가 방법론 전문가 Ismael Ràfols는 많은 출판과 많은 인용을 높게 평가하는 시스템이 이런 부패를 낳는다고 봄
- Ràfols는 유럽에서는 개혁 절차가 시작됐지만, 스페인은 아직 할 일이 많다고 말함
- 스페인 대학 시스템의 감시 기관인 ANECA는 연구자를 생산량 중심으로 평가하지 않도록 변화하는 중임
- ANECA의 Pilar Paneque는 개혁이 나쁜 관행을 억제하고 연구자, 특히 젊은 연구자의 압박을 줄일 것으로 봄
- Paneque는 과학적 진실성과 연구 윤리를 향한 진전이 각 기관의 책임과 통제에서 시작돼야 한다고 강조함
- 각 대학은 연구자의 생산물을 잘 알고 있어 이상 행동을 쉽게 감지할 수 있다는 입장임
댓글과 토론
Hacker News 의견들
- 이 사람의 행각은 이미 2022년에 Retraction Watch에 실렸음 [0]
이 모든 일이 대놓고 벌어진 듯하고, 그걸 보여주듯 단일 후보 교수 투표에서 50%가 백지표라는 항의표가 나왔음. 거기 있던 사람들은 다 알고 있었던 셈
이 스캔들에 대해 “탐지 알고리즘을 어떻게 설계할까”라고 묻는 건 방향이 완전히 틀렸다고 봄. 이런 인용 패거리는 노골적이라 탐지 자체는 거의 사소한 문제이고, 진짜 어렵고 풀리지 않은 문제는 연구대학의 직업 문화임
[0] https://retractionwatch.com/2022/03/25/how-critics-say-a-com... ("How critics say a computer scientist in Spain artificially boosted his Google Scholar metrics")- 문제는 해결책이 안 보인다는 게 아니라, 해결책은 백만 가지쯤 있는데 그걸 실행할 권력을 누가 갖거나 찾아내느냐임
사람들이 알고리즘식 답을 좋아하는 건 실제 권력의 대체물처럼 느껴지기 때문이라고 생각함. 나쁜 것을 고칠 힘을 스스로 찾는 상상을 못 하면, 적어도 자동으로 고쳐줄지도 모르는 논리 구조는 꾸며낼 수 있음
많은 기술자는 알고리즘보다 정치적 힘을 얻는 데 신경 쓰면 훨씬 더 큰 영향을 낼 수 있다고 봄 - 요즘 사람들이 “알고리즘”을 말하는 방식은 70년대의 “전문가”를 말하는 것과 비슷함. 불법적이거나 비윤리적인 걸 하고 있다는 걸 알지만 멈추지 않고, 아무도 못 막으니 대중 인식 포장만 필요해짐
이 경우도 계속 하면서 동시에 “우리가 모두가 아는 그 나쁜 일을 탐지하는 데 앞장서고 있다”는 보도자료를 내고 싶었던 것처럼 보임
Sam Bankman-Fried의 엄마가 Stanford 윤리위원회에 있는 것과 비슷해서 웃김 - 스페인 대학 쪽에는 이 주장에 힘을 보태는 사례가 더 있음
Rafael Luque는 노골적인 부정직 때문이 아니라 King Abdulaziz University를 제1소속으로 적었고, 그게 자기 대학을 거슬리게 해서 13년 정직 처분을 받았음 [1]. KAU는 이런 식으로 인용을 사들이는 곳으로 알려져 있음 [2]
또 다른 사례는 Francisco Herrera Triguero임 [3]. 그는 수년간 KAU를 제2소속으로 적어왔지만, 다른 사람 이야기가 터진 뒤에도 아무 일도 없었음
그러니 알고리즘을 더 만들기보다 이런 사안에 대한 공적 감시가 더 필요할지도 모름
[1] (Spanish): https://elpais.com/ciencia/2023-03-31/suspendido-de-empleo-y...
[2] https://liorpachter.wordpress.com/2014/10/31/to-some-a-citat...
[3] (Spanish): https://www.elsaltodiario.com/universidad/papers-y-mas-paper...
- 문제는 해결책이 안 보인다는 게 아니라, 해결책은 백만 가지쯤 있는데 그걸 실행할 권력을 누가 갖거나 찾아내느냐임
- 이게 어떻게 용인되는지 누가 설명해주면 좋겠음. 왜 이 사람이 웃음거리가 아니라 총장인지 모르겠음
그럴듯하게 보이는 참고문헌을 여러 사람과 논문에 흩뿌리는 영리한 비밀 카르텔이라면 이해라도 하겠는데, 그냥 이 사람의 형편없는 논문만 인용하라는 식이라니
인용 수와 h-index 지표도 분명 개선이 필요함. 패거리 탐지로 이런 인용을 낮게 평가하는 건 사소한 일이어야 함- 좀 무례하게 답하자면, University of Salamanca는 아주 오래된 대학이긴 해도 주요 세계 대학 순위에서 모두 500위 밖이라 명문이라고 보긴 어렵고, 그래서 영향력 높은 연구자인 척할 수 있는 사람을 채용할 가능성이 더 컸을 수 있음
- 권위와 직함에 너무 많은 신뢰를 주는 걸 멈춰야 함. Rector, 사제, 대통령, 판사, 지방검사처럼 “권위 있고” 심지어 선출된 직함을 갖고 있으면서도 동시에 웃음거리일 수 있다는 걸 더 잘 인정해야 함
- 이렇게 조잡해도 탐지는 거의 불가능에 가까움
명시적인 의심이 없으면 누구도 모든 인용과 논문을 체계적으로 확인하지 않음. 연구자, 대학원생, 교수마다 그런 걸 전부 하기엔 논문이 너무 많음
대학에는 그런 일을 할 자원이 없음. 전담 인력을 여러 명 뽑아 풀타임으로 돌려야 한다는 뜻이고, 그래도 조금 더 정교한 사례는 못 잡아냄. 예컨대 실험실 학생들이 내는 모든 논문에 교수가 필수 인용으로 들어가는 경우 같은 것
교수 한 명이 1년에 학술지 논문 20~30편을 내는 게 어떻게 가능하다고 생각하는지 궁금함. 그 정도는 아주 흔하고 오히려 낮은 숫자인데, 논문 하나를 쓰고 심사를 통과시키는 데도 최선의 경우 몇 달, 큰 학술지는 최악의 경우 2년까지 걸릴 수 있음
실제 작업은 대학원생과 조교수들이 하고, 교수 이름은 존중의 표시로 저자 목록에 들어가거나 최악의 경우 그렇게 하라고 지시받아서 들어감. 이건 극히 흔한 관행임
이런 식으로 대학원생들에게 자신이 하지 않은 일을 자기 공로로 돌리게 밀어붙여 사실상 가짜 학계 경력을 쌓은 사람을 직접 본 적 있음. 그는 거의 성공할 뻔했지만, 유럽의 명문 대학 종신재직 심사위원 중 한 교수가 예전에 그와 함께 일했고 그가 종이 위의 화려한 연구 실적을 어떻게 얻었는지 알고 있어서 거부권을 행사했음
게다가 영향력 지수 같은 지표 대부분은 그냥 숫자일 뿐임. 무엇으로 계산됐는지 볼 수 없음. 연구는 늘 개인의 성실성과 정직성 위에 세워져 왔고, 그걸 악용하는 썩은 사과는 항상 존재함
동기와 걸린 것들, 즉 경력·일자리·연구비 등이 너무 왜곡돼 있어서 많은 사람이 이런 식의 부정으로 밀려난다고 느낌 - 인용은 연구비를 끌어오고, 연구비는 기관 입장에서 매력적임
출판사들은 이를 바로잡을 이유가 없고, 연구 부정에서 꽤 큰 이익을 얻음
이런 일도 매우 흔함. Macchiarini의 사기 논문이 철회되기까지 아주 오래 걸렸고, 알츠하이머 플라크 관련 기초 논문 일부도 마찬가지였음 - 패거리와 같은 주제를 연구해서 서로 인용하는 사람들 그룹을 어떻게 구분할 수 있겠음?
- Corchado 문제는 극단적인 “흑백” 사례일 뿐이고, 전체 문제는 훨씬 더 미묘함
예를 들어 작은 커뮤니티 안의 암묵적 인용 카르텔과 사상적 리더 그룹 사이에는 명확한 선이 없음. 작은 커뮤니티에서 리더가 되면 더 넓은 가시성을 얻고, 연구비를 따고, 배후 의사결정에 영향을 미치기도 훨씬 쉬워짐
어떤 면에서 Corchado는 모두가 광대라는 걸 아니까 비교적 해롭지 않음. 유럽 AI 커뮤니티에서 그가 할 말은 별로 없음. 진짜 문제는 모두에게 영향을 주고 오염시키는 회색지대와 거기서 번성하는 사람들임- 회색지대라기보다 이론 거시경제학, 끈 이론 같은 전체 학문 분야와 연구 영역이 그럴 수도 있음
- 저 사람은 정말 부패했음. 기사에서는 University가 왜 그를 채용했고 아직도 해고하지 않았는지 다루지 않았는데, 그게 아주 궁금함
- 인간은 엄밀함과 계획된 시스템을 지키는 데 실패한다는 걸 자주 인정함
보통 많은 변호사와 정치인이 부패했다고 인정하고, 그런 방향으로 사람을 밀어 넣는 여러 유인이 있기 때문이라고도 말함. 그런데 과학, 학계, 의학, 종교, 스포츠, 공학에서 같은 일이 벌어지면 놀라거나 스캔들처럼 받아들이는 듯함
우리는 모두 그냥 인간임. 이 경우 저 사람은 자기 지위를 올려줄 지표 최적화를 한 것임. 잘못인가? 그렇다. 뭔가를 맡아야 하는 사람인가? 아니다. 독특한 사례인가? 아니다- 학계가 변하면서 더 부패해졌기 때문에 놀라는 걸까, 아니면 항상 부패했지만 이제야 인식이 커지며 드러나는 걸까? 어느 쪽이든 지속 불가능함. 우리 문명은 세계를 이해하고 헤쳐 나가는 데 학계에 의존함
- 대부분의 인간은 학계에 발을 들이는 사람들보다 훨씬 높은 수준임. 존경할 만한 사람이 학계 이력이 있다면 오히려 놀라야 하고, 어떤 관여든 영혼에 얼룩을 남긴다고 봄
- 이 사람에 대한 링크가 더 들어 있는 짧은 글이 있음: https://forbetterscience.com/2024/05/03/schneider-shorts-3-0...
인용 공장과 논문 공장은 꽤 흔하고 돈도 잘 될 수 있음. Elsevier, Springer 같은 곳들은 이를 막아서 얻을 게 별로 없음 - 그는 많은 학자가 은근하고 암묵적으로 하는 일을 글로 명시할 만큼 유난히 어리석었던 것 같음
사람들은 친구나 같은 분야 사람을 인용하고, 암묵적 상호 보상도 작동함. 인용된 연구가 현재 논문과 거의 관련이 없어도 그렇게 함
인용이라는 관행 자체도 아주 이상함. 논문을 쓰는 시점에 인용할 작업을 검색하는 연구자를 여러 번 봤음. Google 상위 결과가 인용되고, 그 논문을 전에 읽어본 적도 없음. 그저 “기계학습이 의료에 적용됐다” 같은 꽤 일반적인 주장에 붙일 인용을 찾았을 뿐임
그런 인용이 나쁜 관행인지도 확신은 안 듦. 문장에는 근거 인용이 있어야 하니까. 하지만 그 결과 어떤 논문이 인용됐다는 것, 예컨대 ML과 Cancer 검색에서 Google 상위에 뜬 논문이 인용됐다는 사실은 그 논문이 실제로 의미 있거나 신뢰할 만하거나 중요한 과학적 기여라는 뜻이 아니게 됨 - 이런 종류의 정치적 인용은 의도적 사기가 없어도 벌어짐
대학원 시절에는 논문을 통과시키고 싶으면 프로그램 위원과 유력 심사자의 논문을 인용해야 한다는 게 상식이었음. 그들의 작업이 내가 하는 일과 별로 관련 있다고 생각하지 않아도 그랬음
명시적 패거리가 사람들에게 하라고 시키는 것만큼 극단적이진 않지만, 왜곡 일부는 비슷함. 높은 지위의 사람들은 널리 인용되기 때문에 높은 지위에 있고, 그들이 높은 지위의 사람이기 때문에 다시 인용해야 함- 잘못이 열두 개 모인다고 옳은 일이 되진 않음. 심사자를 저자로 넣으면 자동으로 심사자에서 빠져야 할 텐데
과거에 겪은 멍청한 일을 왜 굳이 정상화하려는지 모르겠음
- 잘못이 열두 개 모인다고 옳은 일이 되진 않음. 심사자를 저자로 넣으면 자동으로 심사자에서 빠져야 할 텐데
- 고등 학계나 대학원 이후 교육 과정을 거치지 않은 많은 사람은 고등교육 종사자들을 사회에 훌륭한 일을 하는, 흠잡을 데 없는 대단한 인물로 보는 관점이 있었던 것 같음
나이가 들고 이런 사람들과 접할 기회가 많아지고 이런 기사를 읽다 보니, 이제는 그들 중 상당수가 괴물이며 지구상에서 가장 미친 듯이 자기애적이고 학대적인 사람들이라는 관점이 생김
그들은 봉건 영지를 운영하고 돈과 명성, 아래 사람들에 대한 권력을 쥐고 있음. 그리고 똑똑한 사람들이기 때문에 일을 하면서 주변 사람들에게 훨씬 더 큰 피해를 줄 능력도 있음- 분야가 얼마나 명망 있고 경쟁적인지에 꽤 달려 있음
“지루하고” “매력 없는” 분야도 많고, 그런 곳에서는 일과 커뮤니티가 꽤 느긋하고 절차대로 굴러감
반면 아주 뜨겁고 경쟁적인 분야는 특정한 종류의 사람들을 끌어들임
그리고 유해하거나 거친 과학자들도 원하는 결과만 내고 있다면 자유롭게 군림하는 경우가 많음 - 듣는 데 도움이 된다면, 정말로 대단한 인물들도 분명 있음. 뛰어난 일을 할 뿐 아니라 인간으로서도 예외적으로 훌륭한 사람들, 특히 겸손하고 사려 깊고 이타적인 사람들도 있음
완전한 관점은 아니지만 여러 대학 사람들에게서 이야기를 들었음. 어떤 대학에서 올라온 사람은 최근 교수 채용에는 감명받지 못했지만, 그곳의 특정한 전인적으로 훌륭한 교수에게는 “총알도 대신 맞겠다”고 했음
대부분의 학자는 그냥 사람들의 정규분포에 더 가까운 것 같음. 평균적인 사람보다 교육을 더 많이 받았고, 어떤 면에서는 더 똑똑할 수 있지만 초인적 지능은 아니며, 다른 인간보다 성인에 가까울 가능성이 더 커 보이지도 않음
많은 교수에게는 상당한 허슬도 요구되기 때문에, 내가 한때 상상했던 것처럼 자비롭고 현명한 대학 사회의 원로 역할을 받아들일 시간·에너지·권력이 줄어듦
어떤 곳과 일부 개인에게서는 더 불행한 역학도 작동함. 일부 대학의 측면은 상상 가능한 가장 내부 독성이 심한 기업처럼 행동하는데, 오히려 더 나쁠 수도 있음. 기관이나 개인이 책임을 덜 지는 경향이 있기 때문임 - 물론 명백한 예외는 있겠지만, 개인적으로 학계와 대학은 인간 본성이 내놓을 수 있는 가장 나쁘고 배신적이며 교활한 것들이 고인 오물통이라는 결론에 도달했음. 능력주의와는 거리가 멀고, 이런 환경에서는 찌꺼기가 위로 “떠오름”
이 사실이 최근 여기서도 논의된 대학 학위 가치 하락 인식과 어떻게 연결되는지 정말 궁금함
- 분야가 얼마나 명망 있고 경쟁적인지에 꽤 달려 있음
- 이 사람들은 그걸 글로 남길 만큼 어리석었을 뿐이고, 많은 곳에서 상호 인용을 주고받거나 아무 기여도 하지 않았는데 저자로 논문에 올라가는 일이 벌어짐
이런 일에 징역형 같은 처벌이 나오기 시작하지 않는 한 바뀌기 어려워 보임