关于 LiteLLM
访问网站 收藏 复制链接
关于此工具
关于此工具 LiteLLM 是一个高度兼容 OpenAI API 格式的 LLM Gateway，专为平台团队和开发者设计，简化了对多家大模型提供商的接入与管理。它支持自动负载均衡、模型回退机制、费用归属与预算控制，可广泛部署在本地或云端，适用于快速迭代的企业级 GenAI 项目。\n\n通过 LiteLLM，开发者无需单独适配每一家模型服务商的接口，便可实现统一调用、实时费用追踪和精细权限管控。Netflix、Lemonade、RocketMoney 等公司已在生产环境中大规模使用，大幅降低了模型集成与运维成本。 展开更多 工具截图
核心功能
统一的 API 接入网关 使用 OpenAI 格式接口接入 100+ 大模型服务商，无需单独适配每家 API。 费用追踪与预算控制 支持用户、团队、组织等维度的消费归属与预算配置，并自动记录到 S3/GCS。 模型回退与负载均衡 提供自动回退机制和并发负载分发，保障高可用性与稳定性。 企业级功能支持 支持 JWT Auth、SSO、审计日志等企业安全与合规需求。 开源可自部署 提供免费开源版本，可部署在本地或私有云中，满足不同部署策略。
应用场景
1 统一模型调用接口 统一模型调用接口 通过 LiteLLM 一次集成，即可支持 OpenAI、Anthropic、Gemini 等多个 LLM 平台。 2 企业级大模型平台建设 企业级大模型平台建设 支持权限管理、费用归属、日志审计，适合构建大规模企业内的 LLM 使用平台。 3 快速上线新模型 快速上线新模型 无需适配新模型接口，一旦支持即可立即上线使用，适用于高速迭代场景。
