7P by xguru 5달전 | favorite | 댓글 2개
  • 앱과 LLM 사이의 인터페이스로 모든 LLM을 통합 API로 호출 가능
    • OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini 등
  • 매우 빠르고 (9.9x) 적은 풋프린트(~45kb)
  • 여러 모델/프로바이더/키 간에 로드밸런싱 가능
  • 폴백과 자동 재시도를 통해 앱이 안정적으로 동작하게 지원

잘 동작하면 유용하겠네요.

I am one of the maintainers - look forward to the community's feedback!