# LocalAI - 셀프호스트 가능한 OpenAI 호환 API

> Clean Markdown view of GeekNews topic #9399. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9399](https://news.hada.io/topic?id=9399)
- GeekNews Markdown: [https://news.hada.io/topic/9399.md](https://news.hada.io/topic/9399.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-06-15T10:46:02+09:00
- Updated: 2023-06-15T10:46:02+09:00
- Original source: [github.com/go-skynet](https://github.com/go-skynet/LocalAI)
- Points: 15
- Comments: 0

## Topic Body

- OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능   
- GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원   
- 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원   
- 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원   
- ggml 호환 모델들 모두 지원: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..

## Comments



_No public comments on this page._