10P by xguru | ★ favorite | 댓글과 토론
  • OpenAI와 호환되는 HTTP API 제공
  • 부하에 기반한 자동 스케일링
  • 오픈소스 LLM을 CPU/GPU 기반으로 서빙 가능
  • 제로 의존성(Istio, Knative 등)
  • Chat UI 내장
GeekNews Weekly에 포함된 글입니다. 에디터 코멘트 보기

댓글과 토론