xturing - 나만의 LLM을 만들고 제어하기
(github.com/stochasticai)- LLaMA, GPT-J, GPT-2 같은 LLM을 빠르고, 효율적으로 파인 튜닝하는 오픈소스 도구
- 다양한 소스에서 데이터를 가져와서 LLM들이 이해할 수 있는 포맷으로 전처리
- 빠른 튜닝을 위해 싱글~멀티 GPU 활용
- 메모리 효율적인 기술(LoRA 같은)을 활용하여 비용 절감
- 다양한 파인 튜닝 방법들을 평가헤서 최적의 모델 찾기
- 잘 정의된 메트릭을 통해 파인 튜닝 모델들을 평가