红帽联手谷歌、NVIDIA启动llm-d开源项目，破解大规模AI推理成本与延迟双重难题

文章来源：放心AI网发布时间：2025-06-18 09:20:12

全球开源解决方案领导者红帽公司近日宣布启动革命性开源项目llm-d，专门应对生成式AI大规模推理的迫切需求。该项目汇聚了CoreWeave、Google Cloud、IBM Research和NVIDIA等行业巨头作为创始贡献者，旨在通过突破性技术让大语言模型推理云满足最严苛的生产服务级目标。

推理时代来临，挑战日益严峻

根据Gartner最新数据预测，"到2028年，随着市场成熟，80%以上的数据中心工作负载加速器将专门部署用于推理，而非训练用途。"这一趋势凸显了推理技术的战略重要性。

然而，随着推理模型复杂性和规模持续扩大，资源需求急剧攀升正在限制集中式推理的可行性。过高的成本和过长的延迟有可能成为AI创新发展的关键瓶颈，迫切需要新的技术解决方案。

llm-d:统一平台的创新突破

red帽及其合作伙伴通过llm-d项目直面这一挑战，成功将先进推理能力集成到现有企业IT基础设施中。该统一平台赋能IT团队在满足关键业务工作负载各种服务需求的同时，部署创新技术以最大化效率，并显著降低高性能AI加速器的总体拥有成本。

这一解决方案的核心价值在于打破了传统推理部署的局限性，为企业提供了更加灵活、高效且经济的AI推理选择。

强大的产业联盟支持

llm-d项目已获得由生成式AI模型提供商、AI加速器先驱和主要AI云平台组成的强大联盟支持。除了四家创始贡献者外，AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI等重要企业也作为合作伙伴加入该项目，展现了业界在构建大规模LLM服务未来方面的深度合作意愿。

行业领袖积极响应

Google Cloud AI与计算基础设施副总裁兼总经理Mark Lohmeyer强调:"在企业大规模部署AI并为用户创造价值的过程中，高效的AI推理至关重要。在我们进入推理新时代之际，Google Cloud很荣幸能够作为llm-d项目的创始贡献者，在我们开源贡献传统的基础上再接再厉。"

NVIDIA工程AI框架副总裁Ujval Kapasi表示:"llm-d项目是对开源AI生态系统的重要补充，体现了NVIDIA对合作推动生成式AI创新的承诺。可扩展、高性能的推理是下一波生成式AI和代理式AI的关键。我们正与红帽和其他支持合作伙伴合作，利用NIXL等NVIDIA Dynamo创新帮助加速llm-d的发展。"