MIT 6.S184: 플로우 매칭 및 디퓨전 모델 입문

 (diffusion.csail.mit.edu)
3P by GN⁺ | ★ favorite | 댓글 1개
  • MIT 6.S184 2026 버전은 이미지·비디오 등 여러 데이터 유형에 쓰이는 디퓨전 모델과 플로우 모델을 이론과 실습으로 함께 배우는 입문 과정임
  • 강의는 확률 미분방정식, Fokker-Planck 방정식, 플로우 매칭, 스코어 매칭, classifier-free guidance, 잠재 공간, 이산 디퓨전 모델까지 이어짐
  • 각 강의에는 실습이 붙어 있어 수강자가 플로우 매칭과 디퓨전 모델을 단계별로 처음부터 구현해 볼 수 있음
  • 과정 후반에는 잠재 디퓨전 모델(latent diffusion model) 을 직접 만들며, 확률 해석 도구를 다른 분야에도 적용할 수 있게 구성됨
  • 확률론과 딥러닝 경험이 권장되며, 선형대수, 다변수 미적분, 기초 확률론, Python, PyTorch 경험이 선수 지식으로 필요함

과정 구성과 학습 목표

  • Flow Matching and Diffusion Models — 2026 Version은 학생과 연구자가 디퓨전·플로우 모델을 더 깊게 이해하도록 설계된 과정임
  • 다루는 모델은 이미지, 비디오, 기타 여러 데이터 유형을 위한 생성 AI 방법임
  • 수학적 기반부터 구현까지 이어지는 흐름으로 구성됨
    • 확률 미분방정식
    • Fokker-Planck 방정식
    • 각 모델 구성요소의 단계별 설명
    • 강의별 실습을 통한 안내형 구현
  • 마지막에는 잠재 디퓨전 모델을 처음부터 구축함
  • 권장 배경은 확률론과 딥러닝 경험이며, 선수 지식은 선형대수, 다변수 미적분, 기초 확률론, Python, PyTorch 경험임

강의 노트와 강의 자료

  • 강의 노트는 과정의 중심 자료이며, 수업의 모든 내용을 자체 완결적으로 설명함
  • 강의 노트 인용 정보
    • Introduction to Flow Matching and Diffusion Models
    • Peter Holderrieth, Ezra Erives
    • 2026
    • arXiv eprint: 2506.02070

  • 강의 목록

    • 1강: Flow and Diffusion Models
      • 생성 모델 입문, 일반·확률 미분방정식, 플로우·디퓨전 모델 샘플링을 다룸
      • slides 1, Video 13
    • 2강: Flow Matching
      • 조건부·주변 확률 경로, 조건부·주변 벡터장, 플로우 매칭 학습 목적을 다룸
      • slides 2, Video 14
    • 3-A강: Score Functions and Score Matching
      • 스코어 함수, denoising score matching, SDE 샘플링을 다룸
      • slides 3, Video 15
    • 3-B강: Classifier-free Guidance
      • guided generation, classifier guidance, classifier-free guidance를 다룸
      • slides 3, Video 16
    • 4강: Latent Spaces and Neural Network Architectures
      • VAE와 잠재 공간, Diffusion Transformer와 U-Nets, 대규모 모델 사례를 다룸
      • slides 4, Video 17
    • 5강: Discrete Diffusion Models
      • 연속시간 Markov chains(CTMCs), CTMC 모델 샘플링, CTMC 모델 학습을 다룸
      • slides 5, Video 18

실습 방식

  • 과정에는 총 3개의 실습(labs) 이 있으며, 수업과 함께 제공되는 연습을 통해 구현 경험을 제공함
  • 실습은 플로우 매칭과 디퓨전 모델을 단계별로 처음부터 만드는 방식임
  • 진행 절차
    • 실습 링크에서 지시사항 확인
    • GitHub에서 .ipynb 노트북 다운로드
    • Jupyter 노트북 환경에서 실행하며, Google Colab도 선택지로 사용 가능함
    • 모든 질문 완료 후 노트북을 PDF로 내보내 Canvas의 Gradescope에 제출
    • 채점이 어려워지므로 셀 출력은 지우지 말아야 함
  • 막히는 경우 솔루션을 참고할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • MIT 수업 “6.S184: Introduction to Flow Matching and Diffusion Models”가 이제 YouTube에 공개됨
    이미지, 비디오, 단백질 등을 위한 최신 생성형 AI 알고리즘과 이를 이해하는 수학적 도구를 함께 다룸
    플로 매칭과 확산 모델은 수학적으로 까다로워서 많은 강의가 직관 수준에 머무르지만, 이 강의는 AI 입문자를 대상으로 하면서도 수학적으로 엄밀하고 자기완결적인 소개를 목표로 함
    출처: https://x.com/peholderrieth

    • MIT Optics [1] 강의를 보려 했는데 오디오/비디오 품질이 너무 나쁨. 누가 고쳐줄 수 있으면 좋겠고, 어쩌면 확산 모델로 가능할지도 모르겠음
      [1] https://ocw.mit.edu/courses/2-71-optics-spring-2009/resource...
    • YouTube 재생목록 링크: https://www.youtube.com/watch?v=GCoP2w-Cqtg&list=PL57nT7tSGA...
    • “고수준 직관”인지, 아니면 전체 선수 지식을 피하지 않는 깊은 응용 중심 자료인지 학습 자료와 강의가 명확히 구분되는 관행이 생기면 좋겠음
      둘 다 가치가 있지만, 직관만 주는 입문 자료의 바다 속에서 후자를 찾기는 어렵다

  • 조건부 정규화 흐름은 학습할 데이터만 있다면 역설계 문제에 대해 본 해법 중 가장 아름다운 축에 듦
    기반 분포의 확률 질량을 전단사 함수로 밀고 당겨 원하는 위치까지 조심스럽게 변형한다는 발상이 정말 우아하고, 그 전단사 함수 자체의 구성도 매우 영리함
    목표값 일부가 연속형이고 일부가 범주형일 때 적용이 까다롭긴 했지만, 그래도 아주 멋진 방법이고 이름도 정말 잘 붙였다고 봄

  • 멋진 강의라 빨리 들어보고 싶음. 이 강의는 연속 공간에 엄격히 초점을 맞춘 듯한데, 이산 확산 쪽에서도 흥미로운 일이 많음
    후속 강의 계획이 있는지 궁금함. 강사 Peter가 이산 확산 논문도 막 냈다는 점이 눈에 띄었음
    https://x.com/peholderrieth/status/1891846309952282661
    https://github.com/kuleshov-group/awesome-discrete-diffusion...

  • 최신 AI 기법을 다루는 공개 강의 모음이 있는지 궁금함

  • MIT OCW와 비슷한 공개 강의 자료들에 정말 감사함. 전공 과목의 보조 자료로 써왔고, 같은 주제를 두 가지 방식으로 배우는 게 특히 이해하기 어려운 내용에서 큰 도움이 됨

  • 여기서 이 강의를 보게 되어 반가움. LLM이 이 엄청나게 유용한 기법에서 많은 관심을 빼앗아간 듯함

  • 이 주제에 익숙한 사람이 주요 사용처와 전반적인 감상을 몇 마디로 설명해주면 좋겠음

    • Stable Diffusion, Dalle을 비롯한 최신 이미지 생성 모델, 비디오·오디오 생성 모델의 기반 원리임. 최근에는 로봇 제어 분야에서도 빠르게 쓰이기 시작함 [1]
      이 모델들은 순수 잡음 샘플을 학습 데이터 분포 쪽으로 조금씩 밀어 넣도록 학습됨. 학습 세트에 잡음을 섞은 버전으로 훈련되기 때문에, 잡음 제거 과정에서 실제 데이터 분포 주변 영역을 더 잘 탐색하고 활용할 수 있음
      GAN의 큰 문제 중 하나는 모드 붕괴라는 현상임 [2]
      [1] https://www.physicalintelligence.company/blog/pi0
      [2] https://en.wikipedia.org/wiki/Mode_collapse

  • 지난 10년은 딥러닝 교육의 황금기였음. 누가 더 고품질 학습 콘텐츠를 무료로 공개하느냐를 두고 경쟁하는 모습이 좋음

  • MIT가 이렇게 시의적절하고 관련성 높은 콘텐츠를 무료로 공개하는 건 훌륭함

  • 최신 AI를 다루는 다른 OCW 강의가 또 무엇이 있는지 궁금함

답변달기