- 2,200만 개 효소 데이터로 Transformer를 학습해 450개 미지 효소 기능을 예측한 연구는 Nature Communications 게재와 Altmetric 상위 5% 관심을 얻었지만, 대규모 오류를 검증한 후속 preprint는 훨씬 덜 주목받음
- 효소 기능 예측은 아미노산 서열에서 EC 번호를 맞히는 문제처럼 보이지만, 실제 판정에는 구조 유사성뿐 아니라 유전자 주변 맥락, 기질 도킹, 대사 경로 공출현 같은 생물학적 증거가 필요함
- 450개 “novel” 예측 중 135개는 UniProt에 이미 존재했고, 148개는 같은 매우 구체적인 기능이 최대 12번 반복되는 등 생물학적으로 어색한 패턴을 보임
- yciO 사례는 테스트 세트 성능과 소수의 in vitro 검증만으로 충분하지 않음을 보여줌; yciO는 TsaC와 구조적으로 비슷하지만 기존 연구와 효소 활성 차이는 같은 핵심 기능을 수행하지 않음을 가리킴
- 감독학습 모델은 알려진 기능 라벨을 같은 기능군에 전파하는 데는 유용할 수 있지만 진짜 미지 기능 발견에는 한계가 있고, 잘못된 라벨이 UniProt 같은 데이터베이스를 거쳐 이후 모델 학습으로 계속 퍼질 수 있음
AI 효소 예측 논문과 후속 검증의 대비
- 원 연구는 2,200만 개 효소와 EC 번호가 있는 데이터셋으로 Transformer 기반 모델을 학습·평가한 뒤, 기능이 알려지지 않은 효소 약 450개의 기능을 예측함
- Functional annotation of enzyme-encoding genes using deep learning with transformer layers | Nature Communications에 실렸고, 조회 수 22,000회와 Altmetric 기준 전체 연구 산출물 상위 5% 관심을 기록함
- 후속 검증 논문 Limitations of Current Machine-Learning Models in Predicting Enzymatic Functions for Uncharacterized Proteins | bioRxiv은 원 논문의 예측에서 심각한 오류와 수백 개의 잘못됐을 가능성이 큰 결과를 찾아냈지만, 원 논문만큼의 조회나 인용을 받지 못함
- 이 사례는 생물학 분야 AI 결과의 타당성을 깊은 도메인 전문성 없이 평가하기 어렵다는 점을 드러냄
효소 기능 예측이 어려운 이유
- 효소는 생명체 내 반응을 촉매하며, Enzyme Commission(EC) 번호는 수천 가지 효소 기능을 계층적으로 분류함
- 입력은 단백질을 구성하는 아미노산 서열이고 출력은 EC 번호라는 점에서 머신러닝에 잘 맞는 문제처럼 보임
- UniProt에는 2,200만 개가 넘는 효소와 EC 번호가 있어 대규모 학습 데이터셋으로 활용 가능함
- 그러나 효소 기능 판정은 서열·구조 유사성만으로 충분하지 않으며, 기능이 갈라진 진화적 관계가 흔한 함정이 됨
Transformer 접근과 겉보기 성과
- Nature Communications 논문은 이전에 기능이 알려지지 않은 효소의 기능을 예측하기 위해 Transformer 딥러닝 모델을 사용함
- 모델 구조는 BERT에서 채택한 방식으로, 두 개의 Transformer 인코더, 두 개의 합성곱 층, 선형 층으로 구성됨
- 연구진은 attention이 높은 영역이 생물학적으로 의미 있는지 확인해, 모델이 근본적 의미를 학습하고 해석 가능성도 제공한다고 판단함
- 수백만 개 항목이 있는 데이터셋에서 표준적인 학습·검증·테스트 분할을 사용했고, ground truth가 없는 데이터셋에 모델을 적용해 약 450개 새 예측을 생성함
- 이 중 무작위로 세 개를 골라 in vitro 테스트했고, 예측이 정확하다고 확인함
드러난 오류와 반복 패턴
- 후속 분석은 Nature Communications 논문의 수백 개 “novel” 예측이 거의 확실히 오류라고 판단함
- 원 논문은 보류된 테스트 세트에서 좋은 성능을 냈지만, 이후 조사에서 데이터 누수 가능성이 발견됨
- 450개 “novel” 결과 중:
- 135개는 이미 UniProt에 등재돼 있어 실제로는 새롭지 않았음
- 148개는 같은 매우 구체적인 효소 기능이 E. coli 유전자에서 최대 12번까지 반복되는 비정상적 패턴을 보임
- 이런 반복은 생물학적으로 그럴듯하지 않으며, 편향, 데이터 불균형, 관련 특징 부족, 아키텍처 한계, 불확실성 보정 부족이 모델이 훈련 데이터의 흔한 라벨을 강제로 내놓게 만들 수 있음
- YjhQ는 mycothiol synthase로 예측됐지만, E. coli는 mycothiol을 합성하지 않음
- YrhB는 특정 화합물을 합성한다고 예측됐지만, 해당 화합물은 이미 QueD 효소가 합성한다고 예측됐고 QueD mutant E. coli는 그 화합물을 합성하지 못해 YrhB의 기능이 아님을 보임
yciO 사례가 보여준 도메인 지식의 역할
- in vitro 테스트 대상 중 하나였던 yciO는 10년 넘게 Dr. de Crécy-Lagard가 연구한 효소였음
- 원 논문은 yciO가 TsaC와 같은 기능을 한다고 결론냈지만, 기존 연구는 이를 뒷받침하지 않음
- TsaC는 E. coli에서 필수 유전자이며, yciO가 같은 genome에 존재하고 yciO가 과발현돼도 TsaC의 필수성이 사라지지 않음
- Kim et al.이 보고한 yciO 활성은 TsaC보다 4자릿수 이상, 즉 10,000배 이상 약함
- yciO와 TsaC는 구조적으로 비슷하고 yciO는 TsaC 조상에서 진화했지만, 유전자 중복 이후 기능이 다양화되는 것은 단백질·효소 진화에서 흔함
- 효소 기능 분류에는 구조 유사성 외에도 다음 증거가 중요함
- 유전자의 neighborhood context
- 기질 도킹
- 대사 경로 내 유전자 공출현
- 효소의 다른 특징들
“알려진 기능 전파”와 “진짜 미지 기능 발견”의 구분
- 효소 기능 식별에는 서로 다른 두 문제가 섞여 있음
- 같은 기능군의 효소에 알려진 기능 라벨을 전파하는 문제
- 정말로 알려지지 않은 기능을 발견하는 문제
- 감독학습 머신러닝 모델은 설계상 true unknowns의 기능 예측에 사용할 수 없음
- 머신러닝은 알려진 기능을 추가 효소에 전파하는 데 유용할 수 있음
- 그러나 다음 오류가 발생할 수 있음
- 전파해야 할 라벨을 전파하지 못함
- 전파하면 안 되는 라벨을 전파함
- 큐레이션 실수
- 실험 실수
- 잘못된 기능이 UniProt 같은 핵심 온라인 데이터베이스에 들어가면, 이후 예측 모델 학습 데이터로 쓰이면서 오류가 더 퍼질 수 있음
- 이 문제는 시간이 지날수록 커질 수 있음
데이터 검증 연구의 낮은 보상
- AI 모델 구축 작업은 기저 데이터를 면밀히 검사하고 깊은 도메인 지식을 통합하는 작업보다 더 큰 보상과 지원을 받음
- Everyone Wants to do the Model Work, not the Data Work는 고위험 AI 프로젝트에 참여한 수십 명의 머신러닝 실무자를 다뤘고, 부적절한 응용 도메인 전문성을 치명적 실패의 주요 원인 중 하나로 다룸
- 자기 전문 분야 밖의 AI 결과를 평가하는 일은 매우 어렵거나 불가능할 수 있음
- 많은 딥러닝 논문은 도메인 전문가가 결과 품질을 세밀하게 검토하지 않은 상태로 읽히게 됨
- 수백 개 효소 예측을 확인하는 작업은 AI 모델을 만드는 작업보다 덜 화려하지만, 결과 품질에는 더 중요할 수 있음
- 화려한 AI 해법에 불균형적으로 집중하는 인센티브 시스템은 품질 있는 결과를 희생시킬 수 있음