10P by xguru 23일전 | favorite | 댓글과 토론
  • OpenAI와 호환되는 HTTP API 제공
  • 부하에 기반한 자동 스케일링
  • 오픈소스 LLM을 CPU/GPU 기반으로 서빙 가능
  • 제로 의존성(Istio, Knative 등)
  • Chat UI 내장