# KubeAI - 쿠버네티스 위에서 Private AI 운영하기

> Clean Markdown view of GeekNews topic #17726. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=17726](https://news.hada.io/topic?id=17726)
- GeekNews Markdown: [https://news.hada.io/topic/17726.md](https://news.hada.io/topic/17726.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-11-13T09:47:01+09:00
- Updated: 2024-11-13T09:47:01+09:00
- Original source: [github.com/substratusai](https://github.com/substratusai/kubeai)
- Points: 10
- Comments: 0

## Summary

KubeAI는 OpenAI와 호환되는 HTTP API를 제공하며, 부하에 기반한 자동 스케일링 기능을 지원합니다. 오픈소스 LLM을 CPU/GPU 기반으로 서빙할 수 있으며, Istio나 Knative와 같은 추가 의존성이 필요 없습니다. 내장된 Chat UI도 함께 제공합니다.

## Topic Body

- OpenAI와 호환되는 HTTP API 제공   
- 부하에 기반한 자동 스케일링   
- 오픈소스 LLM을 CPU/GPU 기반으로 서빙 가능   
- 제로 의존성(Istio, Knative 등)   
- Chat UI 내장

## Comments



_No public comments on this page._