# Lit-LLaMA - nanoGPT 기반 오픈소스 LLaMA 구현체

> Clean Markdown view of GeekNews topic #8865. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=8865](https://news.hada.io/topic?id=8865)
- GeekNews Markdown: [https://news.hada.io/topic/8865.md](https://news.hada.io/topic/8865.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-04-03T11:00:02+09:00
- Updated: 2023-04-03T11:00:02+09:00
- Original source: [github.com/Lightning-AI](https://github.com/Lightning-AI/lit-llama)
- Points: 25
- Comments: 1

## Topic Body

- GPL 라이센스인 LLaMA 코드 대신, nanoGPT 기반으로 Apache 2.0 라이센스로 완전히 별도 개발된 오픈소스   
- bolierplate 없이 단일 파일로 구현되어 심플하며, 기존 모델과 수치적으로 동일   
- FlashAttention, 양자화, LoRA 파인튜닝, 사전 학습등을 지원   
- 소비자용 하드웨어에서 실행되도록 최적화

## Comments



### Comment 15502

- Author: xguru
- Created: 2023-04-03T11:01:02+09:00
- Points: 1

nanoGPT 는 Tesla의 AI 헤드였던 Andrej Karpathy가 minGPT를 재작성한 코드입니다.  
[nanoGPT - 중간규모 GPT를 가장 빠르게 훈련/미세조정하기 위한 오픈소스](https://news.hada.io/topic?id=8170)  
  
[FlashAttention](https://github.com/HazyResearch/flash-attention)