▲

GN⁺: MIT 6.S184: 플로우 매칭 및 디퓨전 모델 입문

 (diffusion.csail.mit.edu)
3P by neo 12일전 | ★ favorite | 댓글 1개

흐름 매칭 및 확산 모델 소개

  • MIT의 컴퓨터 과학 수업 6.S184는 확률 미분 방정식을 활용한 생성 AI에 대한 강의임.
  • 확산 및 흐름 기반 모델은 이미지, 비디오, 음악 등 다양한 데이터 모달리티에서 생성 AI의 최첨단 기술로 자리잡고 있음.
  • 이 강의는 이러한 모델의 수학적 기초를 처음부터 구축하는 것을 목표로 하며, 학생들은 수업이 끝날 때 장난감 이미지 확산 모델을 직접 구축하게 됨.
  • 이 과정은 생성 AI의 이론과 실습을 원칙적으로 이해하고자 하는 학생들에게 이상적임.

강의 노트

  • 강의 노트는 수업의 중심을 이루며, 모든 자료에 대한 독립적인 설명을 제공함.
  • 강의 슬라이드는 시각적 보조 자료로 제공되며, 독립적인 자료는 아님.

강의

  • 1강: 흐름 및 확산 모델

    • 생성 모델 소개
    • 일반 및 확률 미분 방정식
    • 흐름 및 확산 모델에서 샘플링

  • 2강: 훈련 목표 구축

    • 조건부 및 주변 확률 경로
    • 연속성 및 포커-플랑크 방정식
    • 주변 벡터 필드 및 주변 점수 함수

  • 3강: 흐름 및 확산 모델 훈련

    • 흐름 매칭
    • 점수 매칭
    • 다양한 확산 모델 접근법

  • 4강: 이미지 생성기 구축

    • 가이드 및 조건부 생성
    • 신경망 아키텍처
    • 최첨단 모델 조사

  • 5강: 생성 로봇공학

    • Benjamin Burchfiel의 게스트 강의
    • 대규모 행동 모델
    • 로봇공학을 위한 확산 모델

  • 6강: 생성 단백질 설계

    • Jason Yim의 게스트 강의
    • AI를 통한 새로운 단백질 설계
    • 단백질 구조 생성을 위한 흐름 매칭

실습

  • 수업과 함께 제공되는 3개의 실습이 있으며, 단계별로 흐름 매칭 및 확산 모델을 구축하는 실습을 제공함.
  • 실습은 Google Colab에서 열어 진행할 수 있음.

강사

  • Peter와 Ezra가 공동 강의하며, Tommi Jaakkola가 후원자 및 자문 역할을 맡고 있음.
  • Peter Holderrieth는 박사 과정 학생이며, Ezra Erives는 공학 석사 과정 학생임.

사전 요구 사항

  • 선형 대수, 실해석, 기본 확률 이론이 필요하며, Python과 PyTorch에 대한 경험이 있어야 함.

주의 사항

  • 이 강의는 대규모 언어 모델(LLM)을 다루지 않음. LLM은 텍스트와 같은 이산 데이터를 포함하지만, 이 강의는 이미지, 비디오, 단백질 구조와 같은 연속 공간의 데이터를 중심으로 함.

감사의 말

  • 이 강의는 여러 개인 및 조직의 지원 없이는 불가능했음.
  • Tommi Jaakkola 교수, MIT EECS의 Lisa Bella, Ellen Reid, 그리고 많은 사람들에게 감사의 뜻을 전함.
▲
neo 12일전  [-]
Hacker News 의견

  • MIT 수업 "6.S184: Introduction to Flow Matching and Diffusion Models"가 YouTube에 공개됨

    • 이미지, 비디오, 단백질 등 생성 AI 알고리즘과 이를 이해하기 위한 수학적 도구를 가르침
    • 흐름과 확산 모델은 수학적으로 까다로운 주제이므로 많은 강의가 높은 수준의 직관만 가르침
    • 이 강의는 수학적으로 엄밀하고 독립적인 소개를 제공하며 AI 초보자를 대상으로 함
    • 강의가 마음에 들기를 바람

  • 조건부 정규화 흐름은 역설계 문제에 대한 가장 아름다운 해결책 중 하나임

    • 데이터가 있다면 이를 훈련시킬 수 있음
    • 기본 분포를 비젹티브 함수로 변형하여 올바른 위치로 이동시키는 개념이 매우 우아함
    • 연속적이고 범주적인 목표를 동시에 다루는 데 어려움이 있었음
    • 정말 멋진 방법임

  • 지난 10년은 딥러닝 교육의 황금기였음

    • 고품질 학습 콘텐츠를 무료로 제공하려는 경쟁이 흥미로움

  • 멋진 강의임, 빨리 수강하고 싶음

    • 이 강의는 연속 공간에 집중되어 있지만, 이산 확산에서도 많은 흥미로운 일이 일어남
    • 후속 강의 계획이 있는지 궁금함
    • 강사 Peter가 이산 확산에 관한 논문을 발표했음을 알게 됨

  • 최신 AI 기술에 대한 모든 공개 강좌를 모은 컬렉션이 있는지 궁금함

  • MIT OCW와 그 협력자들에게 매우 감사함

    • 이를 보조 자료로 사용하며 같은 주제를 두 가지 다른 방식으로 배우는 것이 매우 유익함
    • 특히 이해하기 어려운 주제에 도움이 됨

  • 이 기술이 매우 유용함에도 불구하고 LLMs가 많은 주의를 분산시킨 것 같음

  • MIT가 시의적절하고 관련성 있는 콘텐츠를 무료로 제공하는 것이 훌륭함

  • 정말 감사함, 현대 AI에 관한 다른 OCW 강좌가 있는지 궁금함

  • 잘했음, 축하함

답변달기