llm-d 1.0 整合了经过第 2 天生产部署验证的分布式推理强化核心，可帮助组织提高 AI 服务效率并扩展企业工作负载。

llm-d 受到前沿模型实验室、超大规模和 Neocloud、硬件加速器以及大型企业的广泛采用和信任，最近的演示显示，上下文繁重的代理工作负载的成本降低了 5 到 10 倍，输出吞吐量提高了 1 倍和 3 倍。 2

加利福尼亚州圣何塞，2026 年 10 月 20 日 /美通社/ -- 今天，llm-d 项目贡献者宣布发布 llm-d 1.0，这是开源项目的一个重要里程碑，旨在帮助组织在现代基础设施中更有效地部署和扩展大型语言模型推理。 llm-d 由红帽、IBM（纽约证券交易所股票代码：IBM）、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年创立，目前由云原生计算基金会 (CNCF) 管理，在企业在生产中大规模部署 AI 的开放基金会中发挥着关键作用。

随着组织竞相将人工智能投入生产，许多人发现大规模运行人工智能与构建模型本身一样具有挑战性和昂贵。组织需要一种方法来为用户提供响应式体验、支持代理工作负载并最大限度地利用日益稀缺的计算资源。 llm-d 1.0 旨在通过智能分布式推理功能应对这些挑战，以促进性能改进、吞吐量增加，并帮助组织更好地控制人工智能服务的经济性。

将创新转化为生产现实

随着代理人工智能的兴起，新型工作负载给基础设施系统带来了不同类型的压力。代理工作负载不断访问和重用大量上下文，同时支持可生成不可预测的活动突发的并行代理。管理该上下文通常比生成最终输出本身消耗更多的资源，这使得延迟、吞吐量、内存效率和基础设施成本成为实现人工智能投资回报率的关键因素。 llm-d 已经为复杂的基础设施环境提供了开箱即用的硬件异构性和高级推理功能，以及前缀缓存和负载感知路由、KV 缓存卸载、预填充/解码分解、广泛的专家并行性以及批处理和异步推理 - 跨多个模型服务器，包括 vLLM 和 SGLang。

llm-d 1.0 旨在将这种性能带入第 2 天操作的现实以及在生产中运行推理的持续工作：服务多个租户、平衡竞争优先级、提供零停机功能并支持新兴的代理工作负载，所有这些都在组成平台的一套共同设计的组件内。 1.0 中的新功能包括：

多租户服务质量——优先级和公平感知的流量控制有助于对延迟敏感的请求和突发代理工作负载共享一组，而不会互相挨饿。

零停机操作——路由器的高可用性以及热备用和滚动更新可确保流量通过升级和计划维护。将预填充/解码副本作为一个逻辑单元进行管理，并协调部署和同步升级，使分类服务在生产中切实可行。

构建的稳定基础 — v1 配置 API 和强化的请求路径，经过云和加速器验证，为采用者提供了一个可以标准化的版本。

代理感知服务——会话感知路由使多回合对话保持在其缓存上下文附近，而回合优先级调度和本机响应 API 状态支持可帮助代理跨回合重用上下文并减少重新计算。

其结果是基础设施可以支持不同的人工智能工作负载，从延迟敏感的用户交互到大规模自主代理工作流程，而无需强迫组织在响应能力和效率之间做出选择。

不断增长的生态系统动力

llm-d 已经在由模型开发人员、云提供商、基础设施供应商和企业用户组成的不断增长的生态系统中得到使用。如今，该项目包括来自超过 25 个组织的 500 多名贡献者，他们就分布式 AI 服务的未来进行合作，并帮助在整个 AI 基础设施堆栈中建立共同的基础。

核心用户（包括运行大规模分布式推理的组织、优化推理堆栈的前沿模型开发人员以及为多租户 AI 端点提供服务的云提供商）都看到了部署 llm-d 带来的显着好处。

在最近的一个用例中，开放前沿模型和 llm-d 使 IBM Research 能够以比全专有配置低 11.5 倍的推理成本探索量子纠错硬件。3 研究人员报告称，前缀缓存命中率约为 98%，混合服务成本约为每百万代币 0.11 美元。

在最近使用基准工作负载的单独演示中，研究人员表明 llm-d 可以有效地为代理工作负载提供大型专家混合模型。研究人员使用 llm-d 在广泛部署的 NVIDIA GPU 上部署 GLM 5.2，这是一个大约 7530 亿参数的开放权重模型，展示了企业如何使用现有 GPU 集群来大规模服务前沿级 AI。在并行运行数百个代理会话的工作负载上，该部署在代理基准峰值时每分钟交付超过 660 万个输出令牌，以零抢占的方式为多达 3,000 个并发编码代理提供服务。按照目前的云租赁费率，这种部署的每个代币成本比同等商业 API 定价低 5 到 10 倍，并且在代理工作负载典型的输入密集型流量模式上节省了最大的成本，这突显了 llm-d 如何为在生产中大规模部署 AI 的企业节省资源和成本。 4

通过其 CNCF 治理模式和广泛的行业参与，llm-d 旨在加速创新，同时为组织提供管理日益复杂的人工智能基础设施的开放替代方案。展望未来，社区将继续适应新硬件和模型的出现，不断发展软件堆栈以在新架构中实现峰值性能。要了解更多信息，请阅读 IBM 和 Red Hat 的公告博客。

支持报价

Chris Aniszczyk，CNCF 首席技术官

“人工智能推理正在迅速成为核心云原生工作负载。llm-d 1.0 将开源推理功能与扩展生产中重要的要求结合在一起，从而满足代理工作负载的需求，从而帮助组织大规模地应对这一转变。这是使高性能开源推理在操作上更加成熟并在云原生生态系统中更易于访问的重要一步。”

Brian Stevens，红帽高级副总裁兼 AI 首席技术官

“随着组织从人工智能实验转向全面生产，瓶颈从生成答案转向管理复杂代理工作负载的经济性、操作可靠性和极端基础设施需求。开源协作对于大规模解决第二天的运营挑战至关重要。通过 llm-d 1.0，社区正在为分布式推理提供标准化、强化的核心，使企业能够优化硬件性能、解决运营成本并在开放的基础上构建高密度人工智能架构。”

Priya Nagpurkar，IBM 研究院人工智能原生系统副总裁

“在 IBM，我们亲眼目睹企业 AI 的挑战不再只是构建强大的模型，而是大规模高效、可靠地运行它们。llm-d 1.0 代表着为分布式推理创建开放基础的一个重要里程碑，帮助组织从 AI 基础设施中获得更多价值，并更好地控制他们所依赖的 AI 功能。随着代理工作负载变得越来越普遍，像 llm-d 这样的开放技术对于提高性能、降低成本和加速整个 AI 生态系统的创新至关重要。”

Mark Lohmeyer，Google Cloud 人工智能与计算基础设施副总裁兼总经理

“代理 AI 正在为企业和消费者在广泛的用例中释放巨大价值。然而，随着这些工作负载在生产中迅速扩展，它们对基础设施提出了独特的要求，并需要新的方法来提供客户所需的性能、可靠性和成本效益。llm-d 1.0 的发布是业界满足这些需求的一个重要里程碑。作为 llm-d 的创始贡献者，Google Cloud 正在将 llm-d 1.0 集成到 Google Kubernetes Engine 中，并在我们的 Google TPU 和 NVIDIA GPU 产品组合中启用它，使客户能够扩展多租户环境，优化其推理性能，并在硬化的开源基础上大幅降低总体服务成本。”

Shadi Saba，CoreWeave 人工智能/机器学习工程副总裁

“每个大规模运行推理的团队都会遇到同样的问题：管理环境的成本通常比输出更高、租户争夺同一队列以及无法中断流量的升级。llm-d 1.0 为社区提供了一个坚固的开放基础，可以一次性解决这些问题，而不是单独解决。CoreWeave 帮助创建了该项目，客户可以在 CoreWeave Kubernetes 服务上与 NVIDIA Dynamo 一起运行 llm-d，选择适合其工作负载的服务堆栈。”

Ujval Kapasi，NVIDIA 工程人工智能框架副总裁

“下一波代理 AI 需要大规模提供性能和效率的推理。将 llm-d 引入 NVIDIA Vera Rubin 将帮助企业在下一代 NVIDIA 加速基础设施上构建和扩展高级 AI 应用程序。通过我们与 llm-d 社区的合作以及开源 NVIDIA Dynamo 的贡献，我们正在帮助企业从 AI 基础设施投资中获得更多收益。”

AMD 执行副总裁兼首席商务官 Phil Guido “通过 llm-d v1.0，我们正在 AMD Instinct™ GPU 上推进开放式高性能分布式推理。代理工作负载需要能够提供响应能力和效率的基础设施。我们与 llm-d 社区合作，在开放的基础上提供最新的推理创新，为开发人员提供更大的灵活性和更多选择来大规模部署 AI。”

Acyr Locatelli，Cohere 建模副总裁 “在 Cohere，我们面临着训练前沿语言模型的双重挑战，同时在企业规模上高效地为它们提供服务。llm-d 帮助我们优化这两个方面，无论是最大化大规模强化学习工作负载的吞吐量，还是提供用户在生产中期望的响应能力。其灵活的开源架构与我们对主权 AI 的承诺紧密结合，使组织能够更好地控制 AI 的部署、操作和扩展方式。”

Salman Paracha，DigitalOcean 人工智能工程高级副总裁

“DigitalOcean 对 llm-d 1.0 版本感到兴奋，并依赖 llm-d 作为 DigitalOcean 无服务器推理和托管代理的基础分布式推理软件，为数万亿个令牌提供服务。其 Kubernetes 原生设计以及与 Kubernetes 网关 API 推理扩展的集成提供了强大的编排和端点选取，同时经过生产验证的路径用于动态流控制、推理感知负载平衡和预填充/解码分解帮助我们大规模可靠地运营。我们与 llm-d 社区密切合作，贡献上游功能和反馈，并期待 llm-d 的持续发展。”

Vladislav Tankov，JetBrains 人工智能总监

“JetBrains 自早期版本以来一直与 llm-d 合作，很高兴看到该项目达到 1.0。llm-d 现在在我们新的 Junie Lite 计划的生产环境中运行，并提供其流量的很大一部分。我们的流量范围从长代理编码会话到短请求，基于预测延迟的调度很容易启用并在整个组合中保持延迟一致。Junie Lite 免费为开发人员提供我们的 AI 编码代理，而 llm-d 通过让我们提供服务来帮助实现这一点每个 GPU 可以以更低的成本处理更多的请求，并且响应速度更快。我们很高兴与 llm-d 团队合作，并祝贺他们发布了此版本。”

Mathis Felardos、Lucas Fernandes-Martins 和 Nikhil Thomas（Mistral、推理工程师和 llm-d 贡献者）

“跨交互式应用程序和大容量 API 提供前沿模型意味着要处理陡峭的流量峰值，同时又不会让突发性工作负载降低优先级客户的延迟。借助 llm-d 的前缀缓存感知路由、流量控制和分类服务支持，我们可以在整个商业层中实施严格的优先级范围，当池饱和时自动保留或放弃较低优先级的请求，以便付费流量满足我们的延迟 SLO。Mistral 是开源软件的自豪支持者，我们将继续为 llm-d 和 DisaggreatedSet 项目做出贡献。”

Nishchaie Khanna，Roblox 人工智能平台高级工程总监

“在 Roblox，跨云和本地 GPU 混合高效地服务大型语言模型是我们的核心基础设施挑战之一。llm-d 为我们提供了 Kubernetes 原生基础，可以在我们已经运行的硬件上进行分类服务和缓存感知路由，而无需将我们绑定到单个推理引擎。我们很高兴能够在 llm-d 1.0 的基础上进行构建并为社区做出贡献。”

关于IBM

IBM 是全球混合云和人工智能以及咨询专业知识的领先提供商。我们帮助超过 175 个国家的客户利用数据洞察、简化业务流程、降低成本并获得行业竞争优势。金融服务、电信和医疗保健等关键基础设施领域的数千家政府和企业实体依靠 IBM 的混合云平台和红帽 OpenShift 来快速、高效和安全地实现数字化转型。 IBM 在人工智能、量子计算、行业特定云解决方案和咨询领域的突破性创新为我们的客户提供了开放、灵活的选择。所有这一切都得到了 IBM 对信任、透明度、责任、包容性和服务的长期承诺的支持。请访问 www.ibm.com 了解更多信息。

关于红帽

红帽是开放混合云技术的领导者，为变革性 IT 创新和人工智能应用提供值得信赖、一致且全面的基础。其云、开发人员、人工智能、Linux、自动化和应用程序平台技术组合支持从数据中心到边缘的任何位置的任何应用程序。作为全球领先的企业开源软件解决方案提供商，红帽投资于开放生态系统和社区，以解决未来的 IT 挑战。红帽与合作伙伴和客户合作，在咨询服务以及屡获殊荣的培训和认证产品的支持下，帮助他们构建、连接、自动化、保护和管理其 IT 环境。

媒体联系人：

1 llm-d 如何充分利用您已有的硬件 2 使用 KServe、llm-d 和 vLLM 进行大规模生产级 LLM 推理 3 用于高级综合的高成本效益代理工厂：使用开放前沿模型和大规模分布式推理对量子纠错芯片进行设计空间探索 4 llm-d 如何充分利用您已有的硬件