Portkey AI Gateway - 100+개의 LLM을 1개의 API로 이용

• 앱과 LLM 사이의 인터페이스로 모든 LLM을 통합 API로 호출 가능
  • OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini 등
• 매우 빠르고 (9.9x) 적은 풋프린트(~45kb)
• 여러 모델/프로바이더/키 간에 로드밸런싱 가능
• 폴백과 자동 재시도를 통해 앱이 안정적으로 동작하게 지원

[ragingwind]

잘 동작하면 유용하겠네요.

[vrv18]

I am one of the maintainers - look forward to the community's feedback!