Chai-1: 생명 분자 상호작용 해독

 (chaidiscovery.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Chai Discovery가 신약 개발에 쓰이는 분자 구조 예측 모델 Chai-1을 공개했으며, 단백질·소분자·DNA·RNA·공유결합 변형까지 한 모델에서 다룸
  • 공개 벤치마크에서 PoseBusters 77% 성공률과 CASP15 Cα LDDT 0.849를 기록해 AlphaFold3, ESM3-98B와 직접 비교됨
  • 기존 도구들이 주로 다중 서열 정렬(MSA)에 의존하는 것과 달리, Chai-1은 단일 서열 모드에서도 대부분의 성능을 유지함
  • 멀티머 예측에서는 DockQ acceptable prediction rate 69.8% 를 기록해 MSA 기반 AlphaFold-Multimer의 67.7%보다 높았음
  • 무료 웹 인터페이스는 상업적 용도에도 열려 있으며, 모델 가중치와 추론 코드는 Apache 2.0 라이선스로 공개됨

Chai-1 공개와 사용 방식

  • Chai-1은 신약 개발 관련 작업을 겨냥한 멀티모달 기반 분자 구조 예측 모델임
  • 예측 대상은 단백질, 소분자, DNA, RNA, 공유결합 변형 등을 포함함
  • 무료 웹 인터페이스에서 사용할 수 있고, 신약 개발 같은 상업적 애플리케이션에도 허용됨
  • 모델 가중치와 추론 코드는 Apache 2.0 라이선스의 chai-lab 소프트웨어 라이브러리로 공개됨

벤치마크 결과와 MSA 의존도 완화

  • 대표 벤치마크 결과는 기존 주요 모델과 비슷하거나 더 높은 수치로 제시됨
    • PoseBusters: 성공률 77%, AlphaFold3는 76%
    • CASP15 단백질 단량체 구조 예측 세트: Cα LDDT 0.849, ESM3-98B는 0.801
  • 기존 구조 예측 도구 다수가 다중 서열 정렬(MSA)을 요구하지만, Chai-1은 단일 서열 모드로도 실행 가능하며 대부분의 성능을 유지함
  • 멀티머 접힘 예측에서는 DockQ acceptable prediction rate 기준 69.8%를 기록했고, MSA 기반 AlphaFold-Multimer는 67.7%였음
  • Chai Discovery 기준으로 Chai-1은 MSA 검색 없이 단일 서열만으로 AlphaFold-Multimer 수준 품질의 멀티머 구조를 예측할 수 있는 첫 모델임
  • 실험실에서 얻은 제약 조건 같은 새 데이터를 프롬프트로 넣으면 성능이 두 자릿수 퍼센트포인트 개선될 수 있음
    • 예시로 epitope conditioning이 있으며, 소수의 contact 또는 pocket residue만 사용해도 항체-항원 구조 예측 정확도가 두 배가 됨
    • 이런 입력은 실험실 실험에서 유래할 수 있어 AI 기반 항체 엔지니어링을 더 실현 가능하게 만듦
  • 모델의 종합 분석은 기술 보고서에서 확인할 수 있음

팀과 이후 방향

  • Chai Discovery 팀은 OpenAI, Meta FAIR, Stripe, Google X 같은 연구·응용 AI 기업 출신으로 구성돼 있음
  • 팀 다수는 선도 신약 개발 회사에서 Head of AI를 맡았고, 전체적으로 12개가 넘는 신약 프로그램 진행에 기여했음
  • Chai-1은 몇 달간의 집중 작업 결과이며, Chai Discovery의 더 넓은 목표는 생물학을 과학에서 공학으로 전환하는 것임
  • 앞으로 생화학 분자 간 상호작용을 예측하고 재프로그래밍하는 AI 기반 모델을 추가로 만들 계획임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 지난주 Reflection 사태(https://venturebeat.com/ai/new-open-source-ai-leader-reflect...)를 보면, 커뮤니티가 독립 검증에 새로 관심을 갖게 됐기를 바람
    사실이라면 정말 흥미로운 소식이라 확인이든 반박이든 빨리 보고 싶음
    오픈소스 모델의 최고 성능 평가를 그대로 받아들이는 일만은 없었으면 함

    • Matt Schumer 같은 사람이 사기와 기만처럼 보이는 일을 해도 거대한 실수 정도로 넘어가고, 실제 불이익을 받지 않는 게 이해되지 않음
      나머지 사람들은 투자자를 속이거나 기만하면 현실적인 대가가 따르는데, 왜 이런 사람들에게는 그렇지 않은지 모르겠음
    • 어디에나 Theranos가 있는 느낌임
      다만 의료에서는 망쳐도 되는 여지가 없다는 차이가 있음

  • 이 모델을 설명할 때 쓰는 기반 모델이나 멀티모달이라는 표현이 실제 의미가 있는지, 아니면 그냥 유행어인지 궁금함
    웃기게도 논문에서 그 용어들이 나오는 곳은 초록뿐임
    논문을 보면 AlphaFold에서 쓴 방법을 거의 복제하고, 여기에 언어 임베딩 입력과 생물학 지식이 없어 이해하기 어려운 몇 가지 부가 제약을 넣은 정도로 보임
    이런 변경이 성능을 얼마나 올렸는지 보여주는 데이터는 없고, AF3 대비 향상도 매우 작아서 학습 파라미터의 무작위성이나 작은 변동만으로도 나올 수 있어 보임
    혁명적이라고 보긴 어렵고, 다만 AF3 재현으로는 볼 수 있겠음

    • “멀티모달”을 여러 다른 데이터 형식을 입력이나 출력으로 받는다는 뜻으로 쓴다면, 맞음
      기술 보고서의 Figure 1을 보면 됨
    • 기반 모델이라는 이름은 이런 모델에 가장 적절한 라벨은 아닌 듯함
      기반 모델은 보통 특정 하위 작업에 맞게 추가 미세 조정할 수 있는 기준 모델로 이해하고 있음
      이건 이미 미세 조정된 모델에 더 가까워 보이지만, 방법론을 충분히 자세히 본 건 아니라 단정하긴 어려움
    • 항체-항원 상호작용에서는 꽤 눈에 띄는 향상이 있음. 두 자릿수 퍼센트처럼 보임
      여기 Figure 4를 보면 됨: https://chaiassets.com/chai-1/paper/technical_report_v1.pdf

  • 그 “승리”라는 차이보다 오차 막대가 5~10배는 더 커 보임

  • 흥미로운 결과이긴 하지만, 신약 발굴에서 단백질 구조 지식이 보통 병목은 아님: https://www.chemistryworld.com/opinion/why-alphafold-wont-re...
    이런 결과가 신약 개발 파이프라인 전체에 어떤 영향을 주는지 추정해 보면 재미있겠음
    예를 들어 가장 예측력이 높은 벤치마크 X, Y, Z에서 N% 향상되면 임상 성공률이 M% ± E%만큼 달라질 수 있다는 식인데, E는 아마 꽤 클 것임

  • 작은 단백질 확산 모델을 만들다가 의존성 지옥을 피하려고 pytorch3d에서 사원수 함수를 복붙하면서 좀 찜찜했음
    그런데 Chai도 자기 저장소에서 똑같은 짓을 한 걸 봄. 웃김

  • 공개 릴리스가 멋지면서도 꽤 위험하게 느껴지지 않나? 새 약을 찾는 데 쓰기 쉬운 만큼 새 생물무기를 찾는 데도 쓰일 수 있는 것 아닌가?
    진심으로 궁금함. 그게 사실이 아니거나, 다른 위험에 비해 별일이 아닌 이유가 있다면 알고 싶음

    • 이미 끔찍하고 문서화도 되어 있으며 접근 가능한 생물무기들이 있음
      결국 지식 접근을 제한하는 철학의 문제로 들어감
      계속 도달하는 결론은, 주변에 Timothy McVeigh 같은 사람이 많아 보이지 않는 게 다행이라는 정도임
      그런 사람들에 대한 현실적인 방어책이 있다고는 생각하지 않음
    • 생물무기 발견의 난이도를 과대평가하는 것 같음
      많은 약물 후보가 독성학에서 막다른 길에 부딪히는 데에는 이유가 있음
      이미 사람을 죽일 분자를 설계하는 건 매우 쉬움
    • 이건 JVC가 사람들이 영상을 녹화할 수 있지만 동시에 콘텐츠를 해적질할 수도 있게 하는 VHS를 출시했을 때만큼 비윤리적임!!1
    • 이런 도구들이 대규모 생물무기 테러로 이어지지 않은 이유가, 충분히 동기 부여된 적대자에게도 근본 문제가 어렵기 때문인지, 아니면 테러리스트들에게 자원·지식·기술이 없기 때문인지 설득력 있게 설명한 사람은 거의 없음
      지금까지 보이는 바로는 충분히 동기 부여된 적대자들이 시도했지만 실패했거나, 몰래 성공했거나, 잠재적 결과 때문에 벼랑 끝에서 물러났을 수 있음
      요약하면 많은 사람에게 해를 끼치는 더 쉬운 방법들이 있고, 아마 그 경로들이 먼저 탐색되고 있을 것임
      하지만 우리가 모르는 건 모르는 상태임
    • “그렇다, 이건 너무 위험하다”는 뜻이라면, 같은 기준에서 공개 릴리스가 “매우 위험하지 않은” 기술 발전 몇 가지를 예로 들어줄 수 있을까?
      예를 들어 다음 기술들은 충분히 “안전”하다고 볼 수 있나: 물리적 자물쇠는 일을 비밀로 하거나 정부가 접근하지 못하게 할 수 있음, 태양광 발전은 전력을 갑자기 훨씬 싸게 만들어 나쁜 사람들이 적은 돈으로 더 많은 일을 하게 함, 범용 컴퓨터는 나쁜 일을 포함한 임의의 코드를 실행함, 인쇄기는 이념을 훨씬 빠르게 퍼뜨리고 엘리트의 문화 장악력을 약화함, 하버-보슈 공정은 세계대전에 필요한 탄약 생산에 필수였음

  • 바이오해커가 이런 모델로 새 단백질을 개발하는 게 얼마나 어려울까?
    예를 들어 GFP를 가져다가 다른 색 형광을 내게 만든다든지 하는 경우임

    • 그리 어렵지는 않을 것 같음
      단백질을 생성하는 단백질 언어 모델을 학습시키고, AF3로 검증한 다음, 실험실에 보내면 됨
      이런 주제에 관심 있으면 ESM-3 논문을 읽어보는 것도 좋음. 나는 아무 관련 없음

  • HN 제목은 부정확함. 한 지표에서 점수가 1% 높다고 해서 이전에 발표된 모델을 이겼다고 할 수는 없음
    이건 재현에 가깝고, 그것만으로도 충분히 괜찮음

    • 맞음, 고마움. 이제 원문 제목으로 바꿨음
      제출자 안내: “원 출처를 제출해 주세요. 어떤 글이 다른 사이트에서 발견한 내용을 보도한다면, 그 후자를 제출하세요.” - https://news.ycombinator.com/newsguidelines.html
      제출된 제목은 “Chai-1 Defeats AlphaFold 3”였음
    • 참고로 저자들은 실제로 그런 주장을 한 적이 없음. 기술 보고서 [0]에는 이렇게 나옴:

      Chai-1 achieves a ligand RMSD success rate of 77%, which is comparable to the 76% achieved by AlphaFold3
      [0] https://chaiassets.com/chai-1/paper/technical_report_v1.pdf

  • 이 흐름으로 돈 걸 수 있는 베팅 시장 같은 게 있나?
    “다음 달 안에 지금 뭔가에서 최고라고 주장하는 새 모델이 나오지 않는다”에 -150 배당이면 몇 년 일찍 은퇴할 수 있을 듯
    “이 모델은 6개월 안에 잊히고 쓸모없어진다”에 +500 배당도 있으면 은퇴 시점이 몇 년에서 몇 달로 줄어들 수 있음

    • Manifold가 이런 걸 하는 걸로 알고 있음. 직접 써본 적은 없음
    • -180, 이건 AlphaFold에 사전 프롬프트 좀 붙인 래퍼임
    • “다음 달 안에 지금 뭔가에서 최고라고 주장하는 새 모델이 나오지 않는다”에 -150 배당이면 몇 년 일찍 은퇴할 수 있을 듯
      낙관주의자와 그들의 시드 투자금은 쉽게 헤어짐

  • AutoDock Vina의 저자임. AutoDock Vina는 가장 많이 인용된 도킹 프로그램이고, AlphaFold 3 논문에서 “준우승”으로 나온 프로그램임
    도킹 소프트웨어는 새로운 잠재 결합체를 찾기 위해 수백만~수십억 개의 약물 유사 분자를 훑는 데 쓰이므로, 단순 암기가 아니라 일반화가 가능해야 함
    그런데 여기와 원 논문에서 쓴 평가 방식(1)은 테스트 집합이 학습 집합과 관련되어 있어서, 소프트웨어가 새로운 분자에서 얼마나 잘 동작할지 검증하지 못함
    머신러닝과 물리의 기본을 이해한다면, 자세한 비판은 여기서 볼 수 있음: https://olegtrott.substack.com/p/are-alphafolds-new-results-...
    그래도 Chai-1이 공개된 건 반가움. 사람들이 이 방법을 더 잘 평가하는 데 도움이 될 가능성이 큼
    (1) 이 논문은 40% 서열 동일성을 허용하므로 원 논문과 조금 다른 듯함. 그래도 높은 편임. 40% 동일성을 가진 서열은, 특히 중요한 결합 부위에서는 같은 형태를 갖는 경향이 있다고 봄

    • AF3와 Chai-1에 대한 작업과 코멘트에 감사함
      학습 집합과 테스트 집합 사이에 굵직하거나 미묘한 데이터 누수가 있어서 성능 지표가 부풀려졌을 가능성을 말하는 것처럼 들림. 그렇다면 꽤 심각한 문제임
      그리고 기존 최고 성능 대비 한계적인 개선은 의미 있는 새 진전이라기보다 뭔가를 재현했다는 증거에 더 가깝다는 데 동의함
      다만 이런 문제는 한동안 대규모 언어 모델에서도 계속 있었음
      그래도 좋은 브랜드의 회사 출신 유능한 엔지니어들이 VC 지원을 받아 이 분야에서 뭔가 해보려는 팀처럼 보이고, 가중치 공개는 고맙게 생각함
      앞으로의 방향과 학습 방법을 더 알고 싶음
답변달기