llm-gateway
複数のLLMプロバイダーを管理し、プロンプトを最適化し、コンテキスト圧縮を実現する、使いやすいゲートウェイ。
Web UIを備えた軽量分散型LLMゲートウェイ。モデル管理、ルーティング、プロンプト最適化、コンテキスト圧縮をサポート。
llm-gatewayについてもっと知る
llm-gateway
LLM Gateway は、複数の LLM プロバイダーを管理し、Web UI を介してルーティング設定を行う軽量な分散型システムです。 仮想キー、プロンプト最適化、自動コンテキスト圧縮などの機能を提供し、様々なユースケースに対応します。
- •20以上のプロバイダー対応:OpenAI、Anthropic、Google、DeepSeekなど、20以上の主要LLMプロバイダーをサポートします。
- •仮想キー管理:レート制限とアクセス制御を備えた仮想APIキーを作成し、管理できます。
- •インテリジェントルーティング:モデル、プロバイダー、地域に基づいたスマートなリクエスト配信を実現します。
- •モデル管理機能:すべてのプロバイダーのモデルを一元管理し、一括インポートとカスタム設定をサポートします。
- •プロンプト管理:仮想モデルのプロンプト処理ルールを設定し、置換、追加、システムメッセージなどの操作をサポートします。
- •LiteLLMプリセット統合:LiteLLM公式ライブラリからモデル設定を自動取得し、検索とワンクリック適用をサポートします。
- •分散Agent展開:リモートサーバーにPortkey Gateway Agentをデプロイし、分散アーキテクチャを実現します。
- •ユーザー認証:JWTに基づいた安全な認証メカニズムを提供します。
- •リアルタイム監視:ダッシュボードでシステムの状態と設定情報を表示します。
LLM Gateway を利用することで、LLM の利用を効率化し、APIキー管理、ルーティング、プロンプト管理を簡素化できます。 複数の LLM プロバイダーをシームレスに統合し、高い可用性と柔軟性を実現します。 今すぐ導入して、LLM の可能性を最大限に引き出しましょう。
