LiteLLM 是两个相关但用途不同的产品形态：Python SDK 把 OpenAI、Anthropic、Vertex AI、Bedrock、Azure、Ollama、vLLM 等提供商转换为较统一的调用与响应格式；LiteLLM Proxy 则是自托管的 AI Gateway，让应用通过 OpenAI 兼容端点访问经过路由和治理的模型。SDK 适合应用内部减少适配代码，Proxy 适合平台团队集中管理虚拟密钥、预算、限流、回退、日志和护栏。它不提供模型算力，也不能消除厂商参数差异。官方 2026 年文档还强调版本支持只覆盖最近四个稳定 minor line，因此生产系统必须固定版本、测试升级并持续同步模型元数据。
快速结论
- 一句话判断：LiteLLM 适合需要多模型适配或自建统一模型网关的开发与平台团队。
- 值不值得用：单应用多供应商可先用 SDK；多团队共享密钥、预算和日志时再部署 Proxy，避免为了“统一”过早引入中央故障点。
- 相关替代/搭配：OpenRouter、Ollama、vLLM 和 Open WebUI。
核心功能
- Python SDK：用统一
completion()、embedding、图像等接口调用多家模型，并映射响应与异常；不是所有供应商能力都能无损归一化。 - AI Gateway / Proxy：OpenAI 兼容入口、模型别名、虚拟 key、用户/团队/项目预算、RPM/TPM 限制和管理界面。
- 路由与容错：在多个部署间做负载均衡、重试和 fallback。必须区分可重试错误，并防止非幂等请求被重复计费或执行工具两次。
- 成本与可观测性：按 key、团队、用户、标签或模型归集用量，并通过回调、Prometheus 和外部观测平台输出日志。成本表可能滞后，新模型需核对上游账单。
- 护栏与网关扩展：支持自定义护栏、PII 处理以及 MCP/A2A 网关。部分内置审核、细粒度护栏或企业管理能力需要 Enterprise 许可证。
适合人群
SDK 适合需要在同一代码库比较或切换模型的 Python 开发者。Proxy 适合有多个应用、供应商与团队，需要统一凭据、配额、模型白名单、日志去向和故障策略的平台工程团队。只有一个模型和少量调用的小项目直接使用厂商 SDK 往往更简单；本地推理可搭配 Ollama 或 vLLM，LiteLLM 负责接口和治理而非推理本身。
使用场景
- 让应用通过模型别名在不同区域或供应商部署之间切换。
- 给团队发放短范围虚拟 key，限制模型、预算、RPM/TPM 和有效期，而不暴露上游密钥。
- 为交互请求、批处理和高价值任务设置不同路由、超时、重试和 fallback。
- 将请求指标与成本发送到监控系统，同时按团队决定是否记录正文。
- 通过统一端点管理 MCP 和 Agent 访问，但对工具调用继续实施权限与人工确认。
可靠性设计不能只打开 fallback：对每个 provider 做合成探测，监控成功率、429/5xx、首 token 时间、P50/P95 延迟、路由分布、重试放大率和成本偏差；设置总超时与重试预算，使用熔断避免故障扩散。流式响应或工具调用已经开始后，自动切换可能造成重复输出或副作用，应由应用提供幂等键和操作确认。
价格与版本
LiteLLM OSS 代码可自托管，但实际成本包括上游模型、Proxy 基础设施、PostgreSQL、可选缓存/队列、日志存储和运维。Enterprise 采用联系销售的用量/规模报价；官方文档写明 Admin UI 的 SSO 最多 5 个用户可免费使用，更多用户及审计、细粒度治理、企业支持等需要许可证。
| 方案 | 费用 | 适合场景 |
|---|---|---|
| Python SDK | 开源软件免费，上游调用另计 | 单应用统一适配 |
| OSS Proxy | 开源软件免费，自付基础设施与上游费用 | 自托管模型网关与基础治理 |
| Enterprise | 7 天试用入口，正式价格联系销售 | SSO/SCIM、审计、细粒度 RBAC、多区域和支持 |
许可证和功能边界应以 Enterprise 官方文档 为准。LiteLLM 发布频繁，生产环境应 pin 镜像/依赖、保留回滚，并在支持窗口滚动前完成兼容测试。
国内访问与使用体验
LiteLLM 可在自有环境部署，needsVPN: false 表示软件本身不要求特定 SaaS 网络。实际可用性由 PyPI/镜像源、所选云与上游模型端点决定；网关不会让一个不可达或不合规的上游自动变得可用。国内团队可接入可合法使用的本地或云模型，并依据数据分类决定日志正文、跨境调用与密钥存储策略，不应把网络绕行当作网关功能。
优点
- SDK 与 Proxy 分层清晰，可从应用适配逐步升级到组织网关。
- 广泛支持提供商和 OpenAI 兼容客户端，减少重复接入工作。
- OSS 已提供虚拟 key、预算、路由、日志和基础护栏框架。
- 可自托管，便于控制密钥、日志位置和网络边界。
- 路由、回退和模型别名有助于降低单一部署依赖。
不足
- “OpenAI 兼容”不是能力完全等价，工具调用、流式、结构化输出和新参数都要逐供应商测试。
- Proxy 成为中央依赖后，需要多实例、数据库备份、限流和容量演练。
- 自动重试与 fallback 可能增加费用，或重复执行有副作用的请求。
- 部分企业护栏、SSO、审计和多区域能力需要商业许可证。
- 模型价格、上下文和能力元数据更新快，与上游账单可能出现偏差。
替代品对比
| 工具 | 更适合谁 | 优势 | 主要取舍 |
|---|---|---|---|
| OpenRouter | 想用托管统一模型 API 的开发者 | 无需自建网关，模型选择多 | 流量经过第三方服务，治理方式不同 |
| Ollama | 本地模型使用者 | 本地安装和模型运行直接 | 不提供同等组织级多供应商治理 |
| vLLM | 自托管高吞吐推理团队 | 推理性能和服务能力强 | 不是完整预算/密钥治理网关 |
| Open WebUI | 需要自托管聊天界面的人 | 用户体验与模型入口完整 | 重点不是底层 API 治理 |
常见问题 FAQ
LiteLLM SDK 和 Proxy 有什么区别？
SDK 嵌入 Python 应用处理调用适配；Proxy 是独立服务，为多个客户端提供中央路由、密钥和治理。
LiteLLM 会托管模型吗？
不会。它把请求发给配置的云模型或自托管推理端点，模型费用和可用性仍由上游决定。
能否做到应用零改动迁移？
OpenAI 兼容客户端通常只需更换 base URL 和 key，但模型特有参数、工具调用、错误语义和输出质量仍需改造与测试。
fallback 会不会重复收费？
可能。首个请求若已被上游处理但客户端收到超时，重试或切换会再次调用。工具与写操作还可能产生重复副作用。
生产 Proxy 必须用 PostgreSQL 吗？
需要持久化虚拟 key、预算和管理数据的完整部署通常要数据库；具体依赖按当前官方部署文档确认，不应把单进程演示直接用于生产。
如何验证成本数据？
定期把 LiteLLM 记录与供应商账单按模型、区域和时间对账，对未知模型设置保守限制，并及时同步官方 model cost map。
总结
LiteLLM 的核心价值是“适配层 + 治理网关”，不是模型市场或推理引擎。SDK 可降低多供应商接入成本，Proxy 可集中预算、密钥、路由和日志，但也引入中央基础设施责任。本文于 2026-07-15 依据 LiteLLM 快速入门、Enterprise 文档 和 官方 GitHub 核验，已移除未经当前文档支持的固定性能与客户背书数字。