3P by GN⁺ | ★ favorite | 댓글 1개
  • 2,200만 개 효소 데이터로 Transformer를 학습해 450개 미지 효소 기능을 예측한 연구는 Nature Communications 게재와 Altmetric 상위 5% 관심을 얻었지만, 대규모 오류를 검증한 후속 preprint는 훨씬 덜 주목받음
  • 효소 기능 예측은 아미노산 서열에서 EC 번호를 맞히는 문제처럼 보이지만, 실제 판정에는 구조 유사성뿐 아니라 유전자 주변 맥락, 기질 도킹, 대사 경로 공출현 같은 생물학적 증거가 필요함
  • 450개 “novel” 예측 중 135개는 UniProt에 이미 존재했고, 148개는 같은 매우 구체적인 기능이 최대 12번 반복되는 등 생물학적으로 어색한 패턴을 보임
  • yciO 사례는 테스트 세트 성능과 소수의 in vitro 검증만으로 충분하지 않음을 보여줌; yciO는 TsaC와 구조적으로 비슷하지만 기존 연구와 효소 활성 차이는 같은 핵심 기능을 수행하지 않음을 가리킴
  • 감독학습 모델은 알려진 기능 라벨을 같은 기능군에 전파하는 데는 유용할 수 있지만 진짜 미지 기능 발견에는 한계가 있고, 잘못된 라벨이 UniProt 같은 데이터베이스를 거쳐 이후 모델 학습으로 계속 퍼질 수 있음

AI 효소 예측 논문과 후속 검증의 대비

효소 기능 예측이 어려운 이유

  • 효소는 생명체 내 반응을 촉매하며, Enzyme Commission(EC) 번호는 수천 가지 효소 기능을 계층적으로 분류함
  • 입력은 단백질을 구성하는 아미노산 서열이고 출력은 EC 번호라는 점에서 머신러닝에 잘 맞는 문제처럼 보임
  • UniProt에는 2,200만 개가 넘는 효소와 EC 번호가 있어 대규모 학습 데이터셋으로 활용 가능함
  • 그러나 효소 기능 판정은 서열·구조 유사성만으로 충분하지 않으며, 기능이 갈라진 진화적 관계가 흔한 함정이 됨

Transformer 접근과 겉보기 성과

  • Nature Communications 논문은 이전에 기능이 알려지지 않은 효소의 기능을 예측하기 위해 Transformer 딥러닝 모델을 사용함
  • 모델 구조는 BERT에서 채택한 방식으로, 두 개의 Transformer 인코더, 두 개의 합성곱 층, 선형 층으로 구성됨
  • 연구진은 attention이 높은 영역이 생물학적으로 의미 있는지 확인해, 모델이 근본적 의미를 학습하고 해석 가능성도 제공한다고 판단함
  • 수백만 개 항목이 있는 데이터셋에서 표준적인 학습·검증·테스트 분할을 사용했고, ground truth가 없는 데이터셋에 모델을 적용해 약 450개 새 예측을 생성함
  • 이 중 무작위로 세 개를 골라 in vitro 테스트했고, 예측이 정확하다고 확인함

드러난 오류와 반복 패턴

  • 후속 분석은 Nature Communications 논문의 수백 개 “novel” 예측이 거의 확실히 오류라고 판단함
  • 원 논문은 보류된 테스트 세트에서 좋은 성능을 냈지만, 이후 조사에서 데이터 누수 가능성이 발견됨
  • 450개 “novel” 결과 중:
    • 135개는 이미 UniProt에 등재돼 있어 실제로는 새롭지 않았음
    • 148개는 같은 매우 구체적인 효소 기능이 E. coli 유전자에서 최대 12번까지 반복되는 비정상적 패턴을 보임
  • 이런 반복은 생물학적으로 그럴듯하지 않으며, 편향, 데이터 불균형, 관련 특징 부족, 아키텍처 한계, 불확실성 보정 부족이 모델이 훈련 데이터의 흔한 라벨을 강제로 내놓게 만들 수 있음
  • YjhQ는 mycothiol synthase로 예측됐지만, E. coli는 mycothiol을 합성하지 않음
  • YrhB는 특정 화합물을 합성한다고 예측됐지만, 해당 화합물은 이미 QueD 효소가 합성한다고 예측됐고 QueD mutant E. coli는 그 화합물을 합성하지 못해 YrhB의 기능이 아님을 보임

yciO 사례가 보여준 도메인 지식의 역할

  • in vitro 테스트 대상 중 하나였던 yciO는 10년 넘게 Dr. de Crécy-Lagard가 연구한 효소였음
  • 원 논문은 yciO가 TsaC와 같은 기능을 한다고 결론냈지만, 기존 연구는 이를 뒷받침하지 않음
  • TsaC는 E. coli에서 필수 유전자이며, yciO가 같은 genome에 존재하고 yciO가 과발현돼도 TsaC의 필수성이 사라지지 않음
  • Kim et al.이 보고한 yciO 활성은 TsaC보다 4자릿수 이상, 즉 10,000배 이상 약함
  • yciO와 TsaC는 구조적으로 비슷하고 yciO는 TsaC 조상에서 진화했지만, 유전자 중복 이후 기능이 다양화되는 것은 단백질·효소 진화에서 흔함
  • 효소 기능 분류에는 구조 유사성 외에도 다음 증거가 중요함
    • 유전자의 neighborhood context
    • 기질 도킹
    • 대사 경로 내 유전자 공출현
    • 효소의 다른 특징들

“알려진 기능 전파”와 “진짜 미지 기능 발견”의 구분

  • 효소 기능 식별에는 서로 다른 두 문제가 섞여 있음
    • 같은 기능군의 효소에 알려진 기능 라벨을 전파하는 문제
    • 정말로 알려지지 않은 기능을 발견하는 문제
  • 감독학습 머신러닝 모델은 설계상 true unknowns의 기능 예측에 사용할 수 없음
  • 머신러닝은 알려진 기능을 추가 효소에 전파하는 데 유용할 수 있음
  • 그러나 다음 오류가 발생할 수 있음
    • 전파해야 할 라벨을 전파하지 못함
    • 전파하면 안 되는 라벨을 전파함
    • 큐레이션 실수
    • 실험 실수
  • 잘못된 기능이 UniProt 같은 핵심 온라인 데이터베이스에 들어가면, 이후 예측 모델 학습 데이터로 쓰이면서 오류가 더 퍼질 수 있음
  • 이 문제는 시간이 지날수록 커질 수 있음

데이터 검증 연구의 낮은 보상

  • AI 모델 구축 작업은 기저 데이터를 면밀히 검사하고 깊은 도메인 지식을 통합하는 작업보다 더 큰 보상과 지원을 받음
  • Everyone Wants to do the Model Work, not the Data Work는 고위험 AI 프로젝트에 참여한 수십 명의 머신러닝 실무자를 다뤘고, 부적절한 응용 도메인 전문성을 치명적 실패의 주요 원인 중 하나로 다룸
  • 자기 전문 분야 밖의 AI 결과를 평가하는 일은 매우 어렵거나 불가능할 수 있음
  • 많은 딥러닝 논문은 도메인 전문가가 결과 품질을 세밀하게 검토하지 않은 상태로 읽히게 됨
  • 수백 개 효소 예측을 확인하는 작업은 AI 모델을 만드는 작업보다 덜 화려하지만, 결과 품질에는 더 중요할 수 있음
  • 화려한 AI 해법에 불균형적으로 집중하는 인센티브 시스템은 품질 있는 결과를 희생시킬 수 있음

댓글과 토론

Hacker News 의견들
  • 예전에 비슷한 일을 겪어봤음. 효소 데이터에 BERT를 던져봤는데 평가에서는 멀쩡해 보이다가 실제 환경에서는 완전히 망했음. 전형적인 “분위기에 과적합”된 상황이었음
    솔직히 단순 분류라면 언제든 SVM이나 로지스틱 회귀를 고르겠음. 트랜스포머는 멋지지만 데이터가 아주 깨끗하지 않으면 자신 있게 헛소리를 함. GPT에게 말도 안 되는 객관식 시험을 주면 뭔가를 고르고 아주 당당하게 말하는 것과 비슷함
    요즘은 큰 모델에서 임베딩만 가져와 단순한 분류기를 얹는 쪽으로 감. 더 잘 되고, 더 빠르고, 덜 시끄러움

    • 트랜스포머는 테스트셋에서는 만점을 받다가 현실을 만나는 순간 고꾸라짐. 나도 “와, 정확도 92%!” 하고 춤추다가, 나중에 보니 데이터셋의 사소한 특징만 자신 있게 맞히는 패턴 매처를 만든 것뿐이었음
    • 이미 알 수도 있지만, 큰 모델에서 임베딩을 가져와 분류기를 얹는 방식은 넓게 보면 전이 학습으로 알려져 있음
    • 맞지만, 그래도 그건 간접적으로 트랜스포머를 쓰는 것임
    • 아이러니하게도 이 댓글 자체가 트랜스포머, 정확히는 ChatGPT가 생성한 것처럼 읽힘
    • 약간 다른 질문인데, 프로덕션에서 SVM이 얼마나 유용하다고 보나? 대체로 다른 알고리즘보다 너무 느려서 쓸 가치가 떨어진다고 느꼈음
  • AI에게 연구를 시키기 전에 먼저 연구를 재현하게 해야 할 듯함. 예를 들어 어떤 딥러닝 기법 논문을 주고 그 논문의 구현을 만들게 하는 식임
    그걸 못 한다면 새로운 아이디어를 만들어낼 수 있으리라는 기대는 없음

    • 재현성이 기준선임. 모델이 기존 연구를 안정적으로 읽고, 이해하고, 올바르게 구현할 수 있기 전까지 “AI 과학자”라는 말은 대체로 브랜딩에 가깝다
    • OpenAI가 이를 위한 벤치마크를 만들었음: https://openai.com/index/paperbench/
    • LLM에 대해 매우 완전한 감사 추적이 필요하고, 해당 논문이 데이터셋 어디에도 들어 있지 않다는 점도 보장해야 함
      학계 사기는 드물지만 없지는 않음. LLM은 조금만 틈이 있어도 데이터를 지어내고 거짓말을 함
    • “AI에게 논문의 앞부분, 즉 프롬프트를 주고 나머지를 완성하게 해서 연구 결과와 동등한 과학을 만들 수 있는지 검증하자”는 말을 하려는 줄 알았음. 그걸 못 한다면 새로운 아이디어를 만들 수 있으리라는 기대는 없음
    • 또는 실험 관찰에 대한 통계로 가득한 논문을 주고 원시 데이터를 재현하게 할 수도 있겠음
  • 어떤 연구자가 출판된 논문의 결과를 검증하는 데 6개월을 썼다고 들었음. 결국 받은 것은 “짚어줘서 고맙다”는 한마디뿐이었다고 함
    그는 조용히 “어떤 일은 보이기 때문에 중요한 게 아니라, 다른 사람들이 잘못된 길로 가지 않게 막기 때문에 중요하다”고 말했음
    예측이 현실과 맞는지조차 신중히 확인할 의지가 없다면, 기술이 아무리 인상적으로 보여도 그것은 잠깐의 환상일 뿐이라고 믿음

    • 노벨상을 받지는 못하겠지만, 성취와 인류에 더한 가치라는 면에서는 대부분의 기업 직원보다 훨씬 앞서 있음. 지난 10년의 일에 대해 우리도 그렇게 말할 수 있으면 좋겠음
  • “나중의 조사에 따르면 데이터 누수가 있었을 가능성이 있다”는 부분은 자주 잊히는 듯함. 강한 반대 증거가 나오기 전까지는 모두 데이터 누수를 가정해야 함
    누수가 있다는 것을 독자나 회의론자가 증명할 책임이 있는 게 아니라, 없다는 것을 입증할 책임은 저자에게 있음
    작은 데이터셋에서는 데이터 누수가 쉽게 생김. 전체를 눈으로 볼 수 있는 데이터셋에서도 누수는 아주 쉽게 들어가고, 대개 본인도 모르게 발생함. 미묘한 요소가 데이터를 쉽게 망침
    이제는 사람이 전부 훑어볼 가능성이 없는 거대한 데이터셋을 다룸. 필터링 방법이 불완전하다는 것도 아는데, 어떻게 누수가 없다고 믿게 되는가? 필터링했다고 말할 수는 있지만, 누수가 없다고는 말할 수 없음
    게다가 접근 가능한 데이터셋에서도 계속 오염을 발견하고 있음. 실제로 이런 일이 자주 벌어진다는 증거가 계속 나오는 셈임
    그런데 왜 계속 오염이 없다고 가정하는가? 과대광고 때문인가? 솔직히 믿고 싶어서 스스로에게 하는 거짓말처럼 들림. 이런 문제를 스스로 속이면서는 고칠 수 없음

    • 모든 시스템에는 문제가 있음. 더 나은 질문은 허용 가능한 임계값이 어디냐는 것임
      예를 들어 Medicare와 Medicaid의 부정 수급률은 7.66%였음. 수십억 달러 규모이고 개선 여지도 있지만, 그렇다고 전체 시스템이 실패했다는 뜻은 아님. 93%의 사례는 의도한 대로 보장되고 있음
      이런 모델도 마찬가지일 수 있음. 오염률이 10%라면 전체 시스템이 나쁜 것인가, 아니면 감내 가능한 수준인가?
      [1]: https://www.cms.gov/newsroom/fact-sheets/fiscal-year-2024-im...
    • 입증 책임이 어디 있는지는 온라인에서 흔히 생각하는 것만큼, 무엇을 믿어야 하는지에 대한 결정적 기준이 아님
  • 내가 예측해왔던 일이 그대로 나왔음: https://news.ycombinator.com/context?id=44041114 https://news.ycombinator.com/context?id=41786908
    “AI가 코딩할 수 있다”와 같음. 문제가 학습셋 안에 없으면 계속 화려하게 실패하는데, 사람들은 매번 놀람

    • “AI가 코딩할 수 있다” 쪽은 그래도 우회하면 꽤 멀리 갈 수 있음. 실제 소프트웨어 엔지니어의 작업 흐름을 보강하고, 린터·테스트 같은 안전장치를 붙이면 됨
      아키텍처, 설계, 리뷰 같은 어려운 부분은 못 하지만, 대부분의 엔지니어 시간을 잡아먹는 반복적이고 이미 해결된 부분은 엄청나게 가져갈 수 있음. 품질 보장은 사람이 하므로 품질 손실 없이 생산성을 2~5배 올리는 것도 충분히 가능함
      하지만 관리 없이 확인하지 않으면 어떤 인간의 전체 업무도 제대로 대체할 수 없음. 아직 전혀 가깝지 않음
  • “내가 읽은 대부분의 딥러닝 논문에서는 도메인 전문가가 결과를 촘촘히 훑으며 출력 품질을 검사하지 않았다. 겉보기엔 인상적인 논문 중 얼마나 많은 것이 정밀 검증을 버티지 못할까?”
    정말 그런가? 내 분야의 AI 논문 몇 편을 읽어봤고, 다른 도메인 전문가들도 많이 읽은 걸로 알고 있음. 다만 컴퓨터과학·소프트웨어 기반 작업이 생물학보다 대체로 검증하기 쉬운 것 같긴 함. 아니면 내가 생물학을 거의 몰라서 그럴 수도 있음

    • 생물학적 라벨 검증은 쉽게 몇 년이 걸림. 원글의 예시는 누군가가 예측된 단백질 라벨 중 하나에 이미 몇 년을 쏟아둔 운 좋은 거대한 우연에 가까웠음
      아무도 임의의 모델 예측을 검증하려고 경력 3~5년을 걸지는 않을 것임
    • 논문을 읽는 것, 결과를 검증하는 것, 정확성을 인증하는 것은 서로 다름. 나도 논문을 많이 읽지만 보통은 그 데이터를 다른 용도로 재사용하려 할 때만 기반 데이터를 봄
      그렇게 보면 정답 라벨 오류를 꽤 빨리 발견하는 편임. 물론 대부분의 모델은 이런 오류가 결과에 큰 영향을 줄 만큼 성능이 좋지는 않음
    • 언어학에서는 이런 기법을 쓰는 논문을 사람들이 꽤 꼼꼼히 읽고 비판도 내놓는다는 인상임. 다만 사람들이 언어학자를 진지하게 받아들이지 않아서, 관련 분야의 사람들이 그 비판을 무시함
  • Nature Communications를 “Nature”라고 부르면 안 됨. 권위가 완전히 다름. 그리고 대체지표도 그리 관련이 크지 않음. 대중적 과열을 측정하고 싶다면 모를까

    • 업데이트: 저자가 이걸 읽고 고친 것 같음
  • 연구자로서 겪은 제한적인 LLM 경험과 잘 맞음. 겉보기의 문어 이해와 문장 표현은 매우 인상적임
    하지만 특히 아직 해결되지 않은 질문에서 가능한 최선의 답에 도달하는 일은 다름. 원래 반나절을 써도 결론을 못 낼 수 있는 질문에 거의 즉시 내놓는 답은 좀처럼 만족스럽지 않음
    복잡한 질문은 탐색할 시간이 필요함. 지금까지는 LLM이 능력 부족 때문에 결론을 못 내야 하는 상황에서도, 그 미해결 상태를 인정하기보다 자신감 있어 보이는, 때로는 완전히 틀린 답을 내놓는 쪽으로 기울어 있음

  • Rachel Thomas의 훌륭한 글임
    이건 딥러닝이 근본 도메인의 매우 손실 큰 표현인 학습 데이터에 의존하기 때문에, 결국 생성형 정보 검색으로만 작동한다는 또 다른 논거처럼 보임. 즉 확률적 앵무새라는 것임
    유전자 데이터나 라벨이 근본 도메인인 생물학을 항상 완벽하게 나타내지 않기 때문에 출력은 거짓이거나, 무효이거나, 말이 안 될 수 있음
    아주 잘 작동하는 경우에는 데이터 누수가 있음. LLM은 설계상 정보 검색 도구이기 때문임. 정보이론 관점에서 보면 어떤 모델에도 근본적인 “모르는지도 모르는 것”이 존재함
    내 결론은 알고리즘의 잘못이라기보다 학습 데이터셋의 잘못에 가깝다는 것임
    인간은 자연어 영역에서 유연하게 작동하고, 아이도 텍스트가 말이 되는지 읽고 평가할 수 있음. 이것이 자연어 처리로 학습한 모델의 성공을 설명함
    하지만 학습 데이터가 근본 도메인을 손실 있게 나타내는 분야에서는 불완전할 수밖에 없음

    • 현대 LLM의 역설은 근본 도메인을 직접 표현하지는 않지만, 텍스트로 제시될 수 있는 정보는 표현할 수 있다는 데 있음. 그래서 어떤 정보는 표현하지만, 그것이 정확히 무엇이고 어떻게 표현되는지는 항상 명확하지 않음
      임베딩 공간은 단어, 문장, 문단 사이의 관계를 표현할 수 있고, 이런 것들이 근본 도메인에 대한 정보를 담을 수 있으므로 텍스트로 그 관계를 질의하면 그럴듯한 답을 얻을 수 있음. 문제는 텍스트가 지저분한 부호화 방식이라 그 관계가 무엇을 표현하는지 항상 분명하지 않다는 점임
      또 다른 약점은 생성형이라는 데 있음. 생성형으로 만들기 위해 가능한 모든 질문과 답을 데이터베이스에 하드코딩하는 대신, 일부 데이터를 알고리즘, 즉 다음 토큰 예측에 떠넘김. 덕분에 부정확하지만 확률적인 질문·프롬프트가 가능해지고, 무엇이든 물을 수 있다는 장점이 생김
      하지만 어떤 단일 알고리즘도 한 도메인의 가능한 모든 질문에 대한 가능한 모든 답을 정확하게 부호화할 수는 없음. 그래서 정보의 정밀도가 일부 손실됨. 지금의 LLM을 나는 이렇게 보고 있음
    • 논의를 단순화해서 LLM이 생성형 정보 검색이라는 말이 완전히 맞다고 가정하더라도, LLM은 계속 남을 것임
      프로그래밍에서 평균 이하 또는 평균 수준의 주니어 개발자가 어떻게 일하는지 생각해보면 됨. Stack Overflow나 튜토리얼에서 문제 해결 정보를 “검색”함
      모든 개발자에게 잘 만든 AI 자동화 도구를 주는 것은, 지루하고 단순한 작업을 위임할 주니어 개발자를 한 명씩 붙여주는 것과 비슷함. 단순 작업 때문에 주니어가 성장하지 못할 걱정도 없음. 여기에 정적 코드 분석, 테스트 같은 도구가 충분히 갖춰져 있으면 AI 도구는 작업하고, 도구를 돌리고, 문제를 고치는 반복을 꽤 잘 수행할 것임
      그 도구 가격은 주니어 개발자 비용의 1/30쯤 아닌가? 그러면 실제 주니어 개발자를 가르치는 일을 포함해 중요한 일에 더 많은 시간을 쓸 수 있음
      AI가 아직 완전히 거기까지 왔다고 보지는 않지만, 현재의 기반 모델도 올바르게 연결하고 조합하면 거기에 도달하기에 충분할 수도 있다고 봄
    • Rachel Thomas가 설명한 상황으로 이어지는 사고 과정이 다른 분야에서도 어느 정도 작동하는지 궁금함. 중요한 글이고 동의함
  • 현재 AI 과대광고 주기의 핵심 문제 하나를 잘 짚음. 우리는 정확도가 아니라 관심을 최적화하고 있음
    그리고 이건 생물학만의 문제가 아님. 기후과학, 법, 의학까지 여러 분야의 기계학습 적용에서 비슷한 패턴이 보임