OpenLLM - LLM을 프로덕션에서 운영하기 위한 오픈 플랫폼
(github.com/bentoml)- 다양한 종류의 LLM을 지원하여 추론, 배포 가능
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- 하나의 명령으로 LLM을 RESTful API 또는 gRPC로 서빙
- WebUI, CLI, Python/Javascript Client 또는 모든 HTTP Client에서 호출
- LangChain, BentoML, HuggingFace 지원 내장
- LLM 파인 튜닝 지원 예정