▲

GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

 (lightning.ai)
20P by xguru 2023-05-30 | favorite | 댓글과 토론
  • nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기
    • StableLM, Pythia, RedPajama 같은 LLM을 지원
    • PyTorch의 FlashAttention 이용
  • 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜닝