# OpenLLM - LLM을 프로덕션에서 운영하기 위한 오픈 플랫폼

> Clean Markdown view of GeekNews topic #9452. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9452](https://news.hada.io/topic?id=9452)
- GeekNews Markdown: [https://news.hada.io/topic/9452.md](https://news.hada.io/topic/9452.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-06-22T10:04:02+09:00
- Updated: 2023-06-22T10:04:02+09:00
- Original source: [github.com/bentoml](https://github.com/bentoml/OpenLLM)
- Points: 10
- Comments: 0

## Topic Body

- 다양한 종류의 LLM을 지원하여 추론, 배포 가능   
  - StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..  
- 하나의 명령으로 LLM을 RESTful API 또는 gRPC로 서빙   
  - WebUI, CLI, Python/Javascript Client 또는 모든 HTTP Client에서 호출   
- LangChain, BentoML, HuggingFace 지원 내장   
- LLM 파인 튜닝 지원 예정

## Comments



_No public comments on this page._