# GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

> Clean Markdown view of GeekNews topic #9288. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9288](https://news.hada.io/topic?id=9288)
- GeekNews Markdown: [https://news.hada.io/topic/9288.md](https://news.hada.io/topic/9288.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-05-30T10:31:02+09:00
- Updated: 2023-05-30T10:31:02+09:00
- Original source: [lightning.ai](https://lightning.ai/pages/blog/how-to-finetune-gpt-like-large-language-models-on-a-custom-dataset/)
- Points: 20
- Comments: 0

## Topic Body

- nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기  
  - StableLM, Pythia, RedPajama 같은 LLM을 지원   
  - PyTorch의 FlashAttention 이용   
- 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜닝

## Comments



_No public comments on this page._