- LLM 애플리케이션(에이전트, 어시스턴트, 코파일럿) 보호, 관찰, 개인화를 위한 지능형 7계층 게이트웨이로 사용자의 API와 통합하여 LLM을 최적화
- 프롬프트 처리와 관련된 중요한 작업을 관리하며, Jailbreak 시도 감지 및 차단
- 프롬프트에 맞춰 백엔드 API를 호출하여 요청을 처리
- 업스트림 LLM 간의 지능적 라우팅과 재난 복구 제공
- 프롬프트와 LLM 상호작용을 중앙에서 관찰 및 관리
주요 기능
-
Envoy 기반: Envoy Proxy 위에 구축되어 HTTP 요청과 같은 방식으로 프롬프트의 인입 및 이출 트래픽을 관리하고, 확장성 있는 LLM 처리 기능을 제공함.
-
Function Calling: API 호출이나 프롬프트에서 매개변수 추출과 같은 빠르고 비용 효율적인 작업을 처리할 수 있도록 설계된 LLM을 통해 에이전트 앱과 RAG 앱을 지원함.
-
Prompt Guard: 별도의 코딩 없이 Jailbreak 시도를 방지하고 안전한 사용자 상호작용을 보장하는 프롬프트 안전장치를 중앙에서 관리함.
-
트래픽 관리: LLM 호출을 지능적으로 재시도하고, 자동으로 연결을 전환하여 업스트림 연결의 연속적인 가용성을 보장함.
-
표준 기반 관찰 기능: W3C Trace Context 표준을 사용해 애플리케이션 간의 전체 요청 추적을 가능하게 하며, 지연 시간, 토큰 사용량, 오류율과 같은 메트릭스를 통해 AI 애플리케이션 성능을 최적화할 수 있도록 지원함.