▲IPEX-LLM - LLM을 인텔 CPU/GPU에서 실행하기 위한 PyTorch 라이브러리 (github.com/intel-analytics)8P by xguru 2024-04-04 | ★ favorite | 댓글과 토론 Intel Extension for PyTorch (IPEX) 기반 50개 이상 모델에 최적화/검증완료 (LLaMA2, Mistral, Gemma, LLaVa, Whisper 등 ) 로컬 iGPU 나 Arc/Flex/Max 등 분산 GPU등에서 Low Latency로 실행 llama.cpp, HuggingFace, LangChain, LlamaIndex 등과 잘 연동 함께 보면 좋은 글 β 인텔 CPU 및 GPU에서 LLM을 실행하기 위한 PyTorch 라이브러리 ExLlamaV2: 일반 GPU에서 로컬 LLMs를 실행하기 위한 빠른 추론 라이브러리 NVIDIA, LLM 추론을 가속하는 TensorRT-LLM 오픈소스 공개 LLM-Wiki - LLM을 활용하여 개인 지식저장소 구축 하기 AutoThink: 적응형 추론으로 로컬 LLM 성능 향상 댓글과 토론 인증 이메일 클릭후 다시 체크박스를 눌러주세요