Numpy 60라인으로 GPT 구현하기

• Python, Numpy에 익숙하다는 전제하에 간단히 GPT를 구현하고, OpenAI가 공개한 GPT-2 모델을 로드하여 텍스트 생성해보는 튜토리얼

목차

• GPT란 무엇인가
• 셋업 : Encoder, Hyperparameters, Parameters
• Basic Layers : GeLU, Softmax, Layer Normalization, Linear
• GPT Architecture
  • Embeddings
  • Decoder Stack
  • Project to Vocab
  • Decoder Block
  • Position-wise Feed Forward Network
  • Multi-Head Causal Self Attention
• 다 합치기
• What's Next?
  • GPU/TPU Support
  • Backpropagation
  • Batching
  • Inference Optimization
  • Training
  • Evaluation
  • Architecture Improvements