10P by xguru 11달전 | favorite | 댓글과 토론
  • 다양한 종류의 LLM을 지원하여 추론, 배포 가능
    • StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
  • 하나의 명령으로 LLM을 RESTful API 또는 gRPC로 서빙
    • WebUI, CLI, Python/Javascript Client 또는 모든 HTTP Client에서 호출
  • LangChain, BentoML, HuggingFace 지원 내장
  • LLM 파인 튜닝 지원 예정