▲

CS 886: 파운데이션 모델의 최신 연구 동향

 (cs.uwaterloo.ca)
15P by xguru 7달전 | favorite | 댓글과 토론
  • "캐나다의 MIT" 워털루 대학교의 AI 강의 중 하나
  • 챕터당 설명 슬라이드와 유튜브 강의영상 및 레퍼런스들 링크 포함
  • 토픽과 레퍼런스 리스트 만으로도 좋은 참조가 될 것 같음

강의 목차

Introduction to Foundation Models

  1. Foundation Model 소개
  2. 수업 안내
  3. RNN & CNN
  4. NLP & CV

Transformer Architecture

  1. Self-Attention & Transformer
  2. Efficient Transformer
  3. Parameter-Efficient Tuning
  4. Language Model Pretraining

Large Language Models

  1. Large Language Model
  2. Scaling Law
  3. Instruction Tuning & RLHF
  4. Efficient LLM Training
  5. Efficient LLM Inference
  6. Compress and Sparsify LLM
  7. LLM Prompting

(Large) Multimodal Models

  1. Vision Transformer
  2. Diffusion Model
  3. Image Generation
  4. Multimodal Model Pre-training
  5. Large Multimodal Model

Augmenting Foundation Models

  1. Tool Augmentation
  2. Retrieval Augmentation