# nano-llama31 - nanoGPT 스타일의 Llama 3.1 버전

> Clean Markdown view of GeekNews topic #16221. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=16221](https://news.hada.io/topic?id=16221)
- GeekNews Markdown: [https://news.hada.io/topic/16221.md](https://news.hada.io/topic/16221.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-08-08T10:02:02+09:00
- Updated: 2024-08-08T10:02:02+09:00
- Original source: [github.com/karpathy](https://github.com/karpathy/nano-llama31)
- Points: 9
- Comments: 0

## Summary

Andrej karpathy가 구현한 nanoGPT 스타일의 Llama 3.1 버전은 의존성이 적고 간단한 아키텍처로 쉽게 훈련, 미세 조정 및 추론이 가능합니다. Meta와 HuggingFace 구현체보다 코드가 작고 효율적입니다. 현재 8B 기본 모델에 중점을 두고 있으며, 개발이 진행 중입니다.

## Topic Body

- Andrej karpathy가 구현한 nanoGPT 스타일의 Llama 3.1 버전   
- 의존성이 없는 최소한의 Llama 3.1 아키텍처 구현체로 매우 간단하게 훈련, 미세 조정 및 추론 가능   
  - Meta, HuggingFace 구현체보다 의존성이 적고 코드가 작음   
- 현재 Llama 3.1의 8B 기본 모델에 중점을 둠  
- WIP: 아직 개발중이며 완성된 것은 아님

## Comments



_No public comments on this page._