# TorchTune - Meta가 공개한 LLM 파인 튜닝을 위한 Pytorch 라이브러리

> Clean Markdown view of GeekNews topic #13992. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=13992](https://news.hada.io/topic?id=13992)
- GeekNews Markdown: [https://news.hada.io/topic/13992.md](https://news.hada.io/topic/13992.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-03-26T10:03:01+09:00
- Updated: 2024-03-26T10:03:01+09:00
- Original source: [github.com/pytorch](https://github.com/pytorch/torchtune)
- Points: 14
- Comments: 0

## Topic Body

- LLM을 쉽게 제작하고, 미세 조정하고, 실험할 수 있는 파인튜닝용 Native-Pytorch 라이브러리   
- 인기 LLM의 네이티브 PyTorch 구현  
- HF 포맷의 체크포인트를 포함한 다양한 형식의 체크포인트 지원  
- 레퍼런스 벤치마크와 포괄적인 정확도 검사를 통해 널리 사용되는 미세 조정 기법에 대한 훈련 레시피 제공  
- EleutherAI 평가 하네스를 통한 훈련된 모델 평가  
- 훈련을 위한 HuggingFace 데이터세트와의 통합  
- PyTorch Distributed의 FSDP를 사용한 분산 훈련 지원  
- 훈련 실행을 쉽게 구성할 수 있는 YAML 구성  
- [예정] TorchAO의 저정밀 dtype 및 양자화 기법 지원  
- [예정] 다양한 추론 엔진과의 연동 지원

## Comments



_No public comments on this page._