BerriAI像 OpenAI 一样调用每个 LLM API [100 多个 LLM]

LiteLLM - 简化您的 LLM API 调用

简介

LiteLLM 是一款功能强大的工具，旨在使用统一的 OpenAI 格式简化您与各种 LLM API 的交互。无论您是使用 Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate 还是 Groq，LiteLLM 都能确保无缝集成和一致的输出。

主要功能

• 统一的 API 格式: 使用 OpenAI 格式调用所有 LLM API。
• 一致的输出: 文本响应始终在 ['choices'][0]['message']['content'] 中可用。
• 重试/回退逻辑: 在多个部署中提供强大的重试和回退机制。
• 预算和速率限制: 为每个项目、API 密钥和模型设置预算和速率限制。
• 流支持: 将模型响应流回实时应用程序。
• 日志记录和可观察性: 预定义的回调，用于将数据记录到各种工具，如 Lunary、Langfuse、DynamoDB 等。

使用案例

• 多提供商集成: 使用单个 API 格式简化调用不同 LLM 提供商的过程。
• 成本管理: 跟踪和管理跨多个项目和提供商的成本。
• 实时应用程序: 利用流功能为需要实时数据的应用程序。
• 增强的可观察性: 与日志记录工具集成，以监控和分析 API 使用和性能。

定价

LiteLLM 提供各种定价选项来满足不同的需求：

• 免费层: 对核心功能的基本访问。
• 专业层: 高级功能，包括自定义集成和更高的速率限制。
• 企业层: 具有专用支持、自定义 SLA 和使用单点登录的安全访问的全面解决方案。

团队

LiteLLM 专为各种规模的团队而设计，从初创公司到大企业。它提供：

• 功能优先级: 根据团队需求定制的功能。
• 自定义集成: 与现有工作流程和工具无缝集成。
• 专业支持: 通过 Discord 和 Slack 提供专用支持。
• 安全访问: 单点登录，以增强安全性并进行用户管理。

LiteLLM 是您管理和简化 LLM API 调用的理想解决方案，可确保团队的稳定性能、成本效益和稳健支持。