- CMU 기준 8/26~12/8에 걸친 딥 러닝 시스템 강의 일정으로, 날짜·주제·강사·슬라이드·2022년 버전 영상 링크를 한곳에 정리함
- 일부 강의 시점은 바뀔 수 있고, 향후 강의 슬라이드는 이전 버전 자료라 수업 전 업데이트될 예정임
- 초반부는 소개와 ML 복습에서 출발해 자동 미분, 최적화, 신경망 라이브러리 추상화와 구현, 합성곱 네트워크 구현으로 이어짐
- 중후반부는 선형대수 하드웨어 가속, GPU, RNN, Transformers, 대규모 모델 학습, 생성 모델, 사전학습 모델 커스터마이즈, 모델 배포를 다룸
- 온라인 강의 영상은 이용 가능할 때 슬라이드와 함께 공개되며, 일정에는 가을방학·Democracy Day·Thanksgiving 휴강과 학생 프로젝트 발표도 포함됨
자료 제공 방식과 일정 범위
- 전체 강의는 잠정 일정으로 제공됨
- 일부 강의의 정확한 시점은 변경될 수 있음
- 향후 강의 슬라이드는 이전 버전 강의 자료이며, 각 수업 전 업데이트된 슬라이드가 게시될 예정임
- 공개 온라인 강의 영상은 제공 가능할 때 슬라이드와 함께 게시됨
- 표에는 CMU 기준 날짜, 강의 번호와 주제, 강사, 슬라이드, 2022년 버전 영상이 포함됨
- 강사는 Dettmers, Chen, Both, Students로 표시돼 있음
강의 흐름
- 8월 말부터 9월 중순까지는 딥 러닝 시스템의 기본기를 다룸
- 8/26: Introduction / Logistics
- 8/28: ML Refresher / Softmax Regression
- 9/2: Manual Neural Networks / Backprop
- 9/4: Automatic Differentiation
- 9/9: Automatic Differentiation Implementation
- 9월 중순부터 10월 초까지는 모델 학습과 프레임워크 구현으로 확장됨
- 9/11: Optimization
- 9/16: Neural Network Library Abstractions
- 9/18: Normalization, Dropout, + Implementation
- 9/23: NN Library Implementation
- 9/25: Convolutional Networks
- 9월 말부터 10월 중순까지는 하드웨어 가속과 CNN 구현을 다룸
- 9/30: Hardware Acceleration for Linear Algebra
- 10/2: Hardware Acceleration + GPUs
- 10/7: Hardware Acceleration Implementation
- 10/9: Convoluations Network Implementation
- 10/14, 10/16은 Fall Break로 수업이 없음
- 10월 말에는 시퀀스 모델링과 Transformers를 다룸
- 10/21: Sequence Modeling + RNNs
- 10/23: Sequence Modeling Implementation
- 10/28: Transformers and Autoregressive Models
- 10/30: Transformers Implementation
- 11월 이후에는 대규모 모델, 생성 모델, 배포와 프로젝트 발표로 이어짐
- 11/4는 Democracy Day로 수업이 없음
- 11/6: Training Large Models
- 11/11: Generative Models
- 11/13: Generative Models Implementation
- 11/18: Customize Pretrained Models
- 11/20: Model Deployment
- 11/25: Future Directions / Q&A
- 11/27은 Thanksgiving으로 수업이 없음
- 12/2, 12/4, 12/8은 학생 프로젝트 발표 일정임