# GoModel - Go로 작성된 고성능 AI 게이트웨이

> Clean Markdown view of GeekNews topic #29021. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=29021](https://news.hada.io/topic?id=29021)
- GeekNews Markdown: [https://news.hada.io/topic/29021.md](https://news.hada.io/topic/29021.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2026-04-30T09:31:02+09:00
- Updated: 2026-04-30T09:31:02+09:00
- Original source: [github.com/ENTERPILOT](https://github.com/ENTERPILOT/GoModel)
- Points: 2
- Comments: 1

## Topic Body

- LiteLLM 과 유사한 **경량 AI 게이트웨이**로 Go 단일 바이너리라 컨테이너 이미지가 가볍고 콜드스타트가 빠름  
- OpenAI, Anthropic, Gemini, Groq, xAI 등 **11개 프로바이더**를 단일 OpenAI 호환 API로 통합  
- Docker 컨테이너 하나에 API 키만 환경 변수로 넘기면 **프로바이더 자동 감지**로 즉시 사용 가능  
- `/v1/chat/completions`(스트리밍), `/v1/responses`, `/v1/embeddings`, `/v1/models`, `/v1/files`, `/v1/batches` 등 **OpenAI API 전체 엔드포인트** 지원  
- **네이티브 API 패스스루** 용 `/p/{provider}/...` 도 제공해 업스트림 응답을 그대로 전달 (게이트웨이가 지원 안 하는 기능도 바로 사용)  
- **2계층 응답 캐시** 내장  
  - Layer 1: 요청 본문 해시 기반 **정확 매칭 캐시** (서브밀리초 조회)  
  - Layer 2: 임베딩 벡터 KNN 검색 기반 **시맨틱 캐시** (고반복 워크로드에서 60~70% 적중률)  
  - 벡터 백엔드로 Qdrant, pgvector, Pinecone, Weaviate 지원  
- 관리 **대시보드 UI** 내장으로 토큰 사용량, 비용 추적, 감사 로그, 프로바이더 상태, 모델 오버라이드 등 확인 가능  
- **Prometheus 메트릭**, 감사 로깅, **가드레일 파이프라인** 등 옵저버빌리티 기능 내장 (각각 환경 변수로 활성화)  
- `GOMODEL_MASTER_KEY`로 API 인증, 스토리지 백엔드는 SQLite·PostgreSQL·MongoDB 선택 가능  
- 동일 프로바이더의 **복수 인스턴스 등록**도 접미사 환경 변수(예: `OPENAI_EAST_API_KEY`)로 지원  
- 스토리지 백엔드로 SQLite(기본), PostgreSQL, MongoDB 선택 가능해서 소규모는 설치 즉시 사용, 대규모는 DB 교체만으로 확장  
- 0.2.0 로드맵: 인텔리전트 라우팅, DeepSeek V3·Cohere 추가, user_path별 예산 관리, 클러스터 모드 등 예정  
- MIT 라이선스

## Comments



### Comment 56596

- Author: xguru
- Created: 2026-04-30T11:10:02+09:00
- Points: 1

LiteLLM 도입 하려는 회사들이 한번 가벼운 대체제로 고려해 볼만한 듯  
  
Python 기반인 LiteLLM이 예전에 공급망 공격 한번 당한 적이 있어서, 상대적으로 Go가 좀 더 안전해 보이는 효과도 있긴 하네요.