# Arch - 지능형 프롬프트 게이트웨이

> Clean Markdown view of GeekNews topic #17438. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=17438](https://news.hada.io/topic?id=17438)
- GeekNews Markdown: [https://news.hada.io/topic/17438.md](https://news.hada.io/topic/17438.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-10-27T09:31:01+09:00
- Updated: 2024-10-27T09:31:01+09:00
- Original source: [github.com/katanemo](https://github.com/katanemo/arch)
- Points: 5
- Comments: 0

## Topic Body

- LLM 애플리케이션(에이전트, 어시스턴트, 코파일럿) 보호, 관찰, 개인화를 위한 지능형 7계층 게이트웨이로 사용자의 API와 통합하여 LLM을 최적화  
- 프롬프트 처리와 관련된 중요한 작업을 관리하며, *Jailbreak* 시도 감지 및 차단  
- 프롬프트에 맞춰 백엔드 API를 호출하여 요청을 처리  
- 업스트림 LLM 간의 지능적 라우팅과 재난 복구 제공  
- 프롬프트와 LLM 상호작용을 중앙에서 관찰 및 관리  
  
### 주요 기능  
- **Envoy 기반**: Envoy Proxy 위에 구축되어 HTTP 요청과 같은 방식으로 프롬프트의 인입 및 이출 트래픽을 관리하고, 확장성 있는 LLM 처리 기능을 제공함.  
- **Function Calling**: API 호출이나 프롬프트에서 매개변수 추출과 같은 빠르고 비용 효율적인 작업을 처리할 수 있도록 설계된 LLM을 통해 에이전트 앱과 RAG 앱을 지원함.  
- **Prompt Guard**: 별도의 코딩 없이 Jailbreak 시도를 방지하고 안전한 사용자 상호작용을 보장하는 프롬프트 안전장치를 중앙에서 관리함.  
- **트래픽 관리**: LLM 호출을 지능적으로 재시도하고, 자동으로 연결을 전환하여 업스트림 연결의 연속적인 가용성을 보장함.  
- **표준 기반 관찰 기능**: W3C Trace Context 표준을 사용해 애플리케이션 간의 전체 요청 추적을 가능하게 하며, 지연 시간, 토큰 사용량, 오류율과 같은 메트릭스를 통해 AI 애플리케이션 성능을 최적화할 수 있도록 지원함.

## Comments



_No public comments on this page._