▲GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법 (lightning.ai)20P by xguru 2023-05-30 | ★ favorite | 댓글과 토론 nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기 StableLM, Pythia, RedPajama 같은 LLM을 지원 PyTorch의 FlashAttention 이용 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜닝 함께 보면 좋은 글 β 스크래치부터 시작하는 LoRA: LLM 파인튜닝을 위한 구현 xturing - 나만의 LLM을 만들고 제어하기 RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트 Lit-LLaMA - nanoGPT 기반 오픈소스 LLaMA 구현체 llama2를 파인 튜닝 하고 있는 사람들 인증 이메일 클릭후 다시 체크박스를 눌러주세요