# liteLLM - 50개 이상의 LLM을 지원하는 프록시 서버

> Clean Markdown view of GeekNews topic #10336. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10336](https://news.hada.io/topic?id=10336)
- GeekNews Markdown: [https://news.hada.io/topic/10336.md](https://news.hada.io/topic/10336.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-08-14T10:18:01+09:00
- Updated: 2023-08-14T10:18:01+09:00
- Original source: [github.com/BerriAI](https://github.com/BerriAI/litellm/blob/main/cookbook/proxy-server/readme.md)
- Points: 15
- Comments: 0

## Topic Body

- /chat/completion API를 Azure, OpenAI, Replicate, Anthropic, Hugging Face 등의 다양한 LLM에 대해서 호출 가능   
- Input/Ouput 포맷을 OpenAI 포맷으로 통일   
- 모델 Fallback을 지원(예: GPT-4 실패시 llama2 호출)  
- 로깅 지원: Supabase, Posthog, Mixpanel, Sentry, Helicone   
- 토큰 사용량 추적   
- Semantic Caching 구현   
- 스트리밍 및 비동기 지원

## Comments



_No public comments on this page._