Arch利用 AI 驱动的网关来保护、观察和个性化 LLM 应用程序。

Arch

Arch 是一个智能提示网关，旨在保护、观察和个性化 AI 应用程序（代理）。它建立在 (并由) Envoy Proxy 的核心贡献者之上，他们相信 AI 应用程序需要细致的处理、智能路由、强大的可观察性和与后端 (API) 系统的集成，以确保提示安全，并且不透明的用户请求需要与 LLM 的传统 HTTP 请求相同的功能。

Product Highlights

• 可观察性: Arch 支持开放的可观察性标准，以实现更好的跟踪、指标和日志记录。
• 流量管理: Arch 管理 LLM 调用，以防止越狱尝试并确保安全的用户交互。
• 提示保护: Arch 集中提示护栏，以实现智能重试、自动截止和弹性上游连接，以实现持续可用性。

Use Cases

• 保险代理: 使用 Arch 构建完整的保险代理。
• 网络代理: 使用 Arch 构建网络协同驾驶员/代理。
• 天气预报: 使用天气预报服务来逐步介绍 arch 网关的核心功能调用能力。

Target Audience

Arch 专为构建使用大型语言模型 (LLM) 的 AI 代理或应用程序的开发人员而设计。