- Tesla의 AI 총괄이었던 Andrej Karpathy가 만드는 신경망 개발 코스
- 역전파(backpropagation)의 기본부터 시작해서 최신 GPT같은 딥신경망까지 개발
- 언어모델은 딥러닝을 배우기에 좋음. 나중에 컴퓨터 비전 같은 곳으로 확장해 가더라도 대부분의 학습내용이 즉시 적용 가능
Syllabus
- (2h25m) The spelled-out intro to neural networks and backpropagation: building micrograd
- (1h57m) The spelled-out intro to language modeling: building makemore
- (1h15m) Building makemore Part 2: MLP
- (1h55m) Building makemore Part 3: Activations & Gradients, BatchNorm
- (1h55m) Building makemore Part 4: Becoming a Backprop Ninja
- (56m) Building makemore Part 5: Building a WaveNet
- (1h56m) Let's build GPT: from scratch, in code, spelled out.