liteLLM - 50개 이상의 LLM을 지원하는 프록시 서버
(github.com/BerriAI)- /chat/completion API를 Azure, OpenAI, Replicate, Anthropic, Hugging Face 등의 다양한 LLM에 대해서 호출 가능
- Input/Ouput 포맷을 OpenAI 포맷으로 통일
- 모델 Fallback을 지원(예: GPT-4 실패시 llama2 호출)
- 로깅 지원: Supabase, Posthog, Mixpanel, Sentry, Helicone
- 토큰 사용량 추적
- Semantic Caching 구현
- 스트리밍 및 비동기 지원