8P by xguru 3달전 | favorite | 댓글과 토론
  • Intel Extension for PyTorch (IPEX) 기반
  • 50개 이상 모델에 최적화/검증완료 (LLaMA2, Mistral, Gemma, LLaVa, Whisper 등 )
  • 로컬 iGPU 나 Arc/Flex/Max 등 분산 GPU등에서 Low Latency로 실행
  • llama.cpp, HuggingFace, LangChain, LlamaIndex 등과 잘 연동