- LiteLLM 과 유사한 경량 AI 게이트웨이로 Go 단일 바이너리라 컨테이너 이미지가 가볍고 콜드스타트가 빠름
- OpenAI, Anthropic, Gemini, Groq, xAI 등 11개 프로바이더를 단일 OpenAI 호환 API로 통합
- Docker 컨테이너 하나에 API 키만 환경 변수로 넘기면 프로바이더 자동 감지로 즉시 사용 가능
/v1/chat/completions(스트리밍), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches 등 OpenAI API 전체 엔드포인트 지원- 네이티브 API 패스스루 용
/p/{provider}/... 도 제공해 업스트림 응답을 그대로 전달 (게이트웨이가 지원 안 하는 기능도 바로 사용)
- 2계층 응답 캐시 내장
- Layer 1: 요청 본문 해시 기반 정확 매칭 캐시 (서브밀리초 조회)
- Layer 2: 임베딩 벡터 KNN 검색 기반 시맨틱 캐시 (고반복 워크로드에서 60~70% 적중률)
- 벡터 백엔드로 Qdrant, pgvector, Pinecone, Weaviate 지원
- 관리 대시보드 UI 내장으로 토큰 사용량, 비용 추적, 감사 로그, 프로바이더 상태, 모델 오버라이드 등 확인 가능
- Prometheus 메트릭, 감사 로깅, 가드레일 파이프라인 등 옵저버빌리티 기능 내장 (각각 환경 변수로 활성화)
GOMODEL_MASTER_KEY로 API 인증, 스토리지 백엔드는 SQLite·PostgreSQL·MongoDB 선택 가능- 동일 프로바이더의 복수 인스턴스 등록도 접미사 환경 변수(예:
OPENAI_EAST_API_KEY)로 지원
- 스토리지 백엔드로 SQLite(기본), PostgreSQL, MongoDB 선택 가능해서 소규모는 설치 즉시 사용, 대규모는 DB 교체만으로 확장
- 0.2.0 로드맵: 인텔리전트 라우팅, DeepSeek V3·Cohere 추가, user_path별 예산 관리, 클러스터 모드 등 예정
- MIT 라이선스