nano-llama31 - nanoGPT 스타일의 Llama 3.1 버전
(github.com/karpathy)- Andrej karpathy가 구현한 nanoGPT 스타일의 Llama 3.1 버전
- 의존성이 없는 최소한의 Llama 3.1 아키텍처 구현체로 매우 간단하게 훈련, 미세 조정 및 추론 가능
- Meta, HuggingFace 구현체보다 의존성이 적고 코드가 작음
- 현재 Llama 3.1의 8B 기본 모델에 중점을 둠
- WIP: 아직 개발중이며 완성된 것은 아님