nanoGPT 는 Tesla의 AI 헤드였던 Andrej Karpathy가 minGPT를 재작성한 코드입니다.
nanoGPT - 중간규모 GPT를 가장 빠르게 훈련/미세조정하기 위한 오픈소스

FlashAttention