LocalAI - 셀프호스트 가능한 OpenAI 호환 API
(github.com/go-skynet)- OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능
- GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원
- 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원
- 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원
- ggml 호환 모델들 모두 지원: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..