▲GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법 (lightning.ai)20P by xguru 2023-05-30 | ★ favorite | 댓글과 토론 nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기 StableLM, Pythia, RedPajama 같은 LLM을 지원 PyTorch의 FlashAttention 이용 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜닝 함께 보면 좋은 글 β 처음부터 구현하는 LoRA: LLM 파인튜닝 효율화 xturing - 나만의 LLM을 만들고 제어하기 70B 언어 모델을 집에서 파인튜닝하기 Lit-LLaMA - nanoGPT 기반 오픈소스 LLaMA 구현체 llama2를 파인 튜닝 하고 있는 사람들 댓글과 토론 인증 이메일 클릭후 다시 체크박스를 눌러주세요