京东重磅推出国产芯片驱动的 xLLM 推理引擎
我要评论京东最近宣布了一项令人振奋的技术进展 —— 开源基于国产芯片自主研发的大模型推理引擎 xLLM。这一引京东擎的推出旨在帮助企业在部署人工智能（AI）应用时，能够以更高的性能和更低的成本运作，进一步推动行业的智重磅能化转型。
xLLM 引擎的核心功能亮点众多，首先是其基于请求优先级的动态调度器。这一功能能够根据不同推出请求的重要性，智能分配计算资源，确保关键任务优先完成。此外，该引擎还具备动态自适应的 PD 分离架构，可国产以根据实时负载情况调整处理实例的比例，以实现资源的最佳利用。值得一提的是，xLLM 特别适配多模态场景，配备芯片了 EPD 混合分离调度器，为复杂的 AI 应用提供了更灵活的解决方案。
在技术架构方面，xLLM 拥有基于硬件驱动特性的多级流水线执行引擎，确保高效处理不同类型的任务。同时，开发者们还设计了包含图融合、投机推理和动态的 负载均衡的计算优化套件，这将大幅提升 AI 推理的效率。为了进一步提升系统性能，xLLM 还利用 MoonxLcake 构建了多级 KV 缓存的全局管理系统，为数据处理提供了更加顺畅的体验。
京东表示，这一技术源自其零售LM核心业务，并已成功应用于京东 AI 助手、智能客服、风控和供应链助手等多个场景。通过这一系统，效率提升 推超过5倍，而机器成本则降低了90%，这一切都表明了 xLLM 的强大潜力。
“我们坚信，AI 基础设施的生态建设理引离不开每位开发者的贡献。开源只是第一步，未来京东将继续根据社区的需求，开放更多高级功能，并与清华、北大京东、中科大等产学研合作伙伴共同推动国产 AI 基础设施技术的创新与发展。” 京东零售 AI 基础设施团队表示。
随着 x重磅LLM 的开源，开发者们将有机会体验这一强大的推理引擎，并为推动中国的 AI 技术生态做出贡献。
相关文章
云梦级11月17日云梦级消息，据国家网络安全通报中心通报，依据《网络安全法》《个人信息保护法》等法律法规，按照《中央网信办、工业和信息化部、公安部、市场监管总局关于开展2025年个人信息保护系列专项行2026-11-14
Tekton 是一款功能非常强大而灵活的 CI/CD 开源的云原生框架。Tekton 的前身是 Knative 项目的 build-pipeline 项目，这个项目是为了给 build 模块增加 pi2026-11-14
机器学习中的特征需要选择，人生又何尝不是如此？ 特征选择是指从众多可用的特征中选择一个子集的过程，其目的和预期效果一般有如下三方面考虑： 改善模型效果，主要是通过过滤无效特征或者噪声特征来实现； 加速2026-11-14
7月29日消息，阿里云宣布通义万相重磅开源，通义万相2.2正式开源，包括开源文生视频Wan2.2-T2V-A14B、图生视频Wan2.2-I2V-A14B、统一视频生成Wan2.2-TI2V-5B。2026-11-14
用Elastic Block Store（EBS）改善性能和数据可用性 译文
如今，许多数据库即服务（DBaaS）解决方案将计算层和存储层分开来，比如包括Amazon Aurora和Google BigQuery。由于数据存储和数据复制可以由现有服务来处理，DBaaS无需担心这2026-11-14
Facebook拒绝一家澳大利亚出版商谈判要求：挑战全球最严网络法
新浪科技讯 北京时间6月25日下午消息，据报道，澳大利亚监管机构日前向媒体表示，就Facebook拒绝与一家出版商进行许可协议谈判一事，他们目前正展开调查。这一调查将是澳大利亚的全球最严网络法律的首次2026-11-14
最新评论