ArchLLM uygulamaları için güvenli, ölçeklenebilir ve gözlenebilir bir geçit.

Arch

Arch, yapay zekâ uygulamalarını (acenteleri) korumak, gözlemlemek ve kişiselleştirmek için tasarlanmış zeki bir istem şifreleme geçididir. Envoy Proxy'nin temel katkıda bulunanları tarafından (ve onun üzerine) inşa edilen Arch, yapay zekâ uygulamalarının incelikli bir şekilde ele alınmasını, akıllı yönlendirmeyi, sağlam gözlemlenebilirliği ve arka uç (API) sistemleri ile entegrasyonu gerektiği, istemlerin güvende olduğu ve şeffaf olmayan kullanıcı isteklerinin, LLM'ler için geleneksel HTTP istekleriyle aynı yetenekleri gerektiği inancıyla oluşturulmuştur.

Product Highlights

• Gözlemlenebilirlik: Arch, daha iyi izleme, ölçümler ve günlükleri sağlamak için açık gözlemlenebilirlik standartlarını destekler.
• Trafik Yönetimi: Arch, izinsiz çıkış girişimlerini engellemek ve güvenli kullanıcı etkileşimlerini sağlamak için LLM çağrılarını yönetir.
• İstem Koruma: Arch, akıllı yeniden deneme, otomatik kesinti ve sürekli kullanılabilirlik için dayanıklı yukarı akış bağlantıları için istem koruyucularını merkezi olarak yönetir.

Use Cases

• Sigorta Ajanı: Arch ile tam bir sigorta ajanı oluşturun.
• Ağ Ajanı: Arch ile bir ağ yardımcı pilotu/ajanı oluşturun.
• Hava Durumu Tahmini: Hava durumu tahmini hizmeti kullanarak bir arch geçidinin temel işlev çağrı yeteneklerini inceleyin.

Target Audience

Arch, büyük dil modelleri (LLM) kullanan yapay zekâ acenteleri veya uygulamaları geliştiren geliştiriciler için tasarlanmıştır.