IPEX-LLM - LLM을 인텔 CPU/GPU에서 실행하기 위한 PyTorch 라이브러리
(github.com/intel-analytics)- Intel Extension for PyTorch (IPEX) 기반
- 50개 이상 모델에 최적화/검증완료 (LLaMA2, Mistral, Gemma, LLaVa, Whisper 등 )
- 로컬 iGPU 나 Arc/Flex/Max 등 분산 GPU등에서 Low Latency로 실행
- llama.cpp, HuggingFace, LangChain, LlamaIndex 등과 잘 연동