BricksLLM - LLM을 위한 AI Gateway
(github.com/bricks-cloud)- Go 로 작성된 클라우드 네이티브 AI 게이트웨이
- OpenAI 에 대한 Proxy로 동작
- Rate Limit, Cost Limit, TTL 이 있는 API 키를 생성해서 OpenAI 가 제공해주지 않는 상세한 접근 제어 기능을 제공 가능
- 목표는 LLama2, Claude, PaLM2 등의 다양한 LLM을 지원하고, LLM 운영을 간소화 하는 것