📰 AI 资讯

面向 Agentic 负载的下一代 LLM 推理引擎设计实践｜AICon深圳

2026-07-14 10:00

Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？ 答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。在这一背景下，<a href="https://aicon.infoq.cn/2026/shenzhen/track" title data-type="link">2026 年 AICon 人工智能开发与应用大会 · 深圳站</a>正式启动。本次大会将于 8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。阿里云高级开发工程师尚旭春已确认出席 “<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>” 专题，并发表题为《<a href="https://aicon.infoq.cn/2026/shenzhen/presentation/7190" title data-type="link">面向 Agentic 负载的下一代 LLM 推理引擎设计实践</a>》的主题分享。随着 AI Agent 从 Demo 逐步走向生产环境，LLM 推理负载正在发生根本性变化。相比传统聊天场景，Agentic 工作负载具有高并发、短请求、多轮工具调用、逐 Token 生成等特点，推理引擎的优化目标也从追求极限吞吐，转向在保证低延迟的同时实现更高的 GPU Token 输出效率。本次分享将结合 TokenSpeed 的研发实践，从 Runtime 与 Kernel 两个层面介绍面向 Agentic 推理场景的新一代推理引擎设计。尚旭春，阿里云高级开发工程师，长期专注在大模型（LLM）软件栈在新硬件环境下的适配、性能调优与架构优化工作。在深耕工业界核心算力基础设施的同时，深度参与并活跃于顶尖的大模型开源基础设施（Infra）社区。作为 Mooncake 社区的 Maintainer，负责维护核心组件 Mooncake Store，该项目目前在 GitHub 上已获得超过 4k star；作为 SGLang 社区的 Committer，贡献了 PD 分离、流水线（PP）并行以及 HiCache 等多个提升长文本与高并发推理性能的核心特性；同时也是 TokenSpeed 社区的 Maintainer，负责 PD 分离、EPLB（弹性流水线负载均衡）以及 KVStore 等多个高吞吐核心子模块的架构与研发工作。他在本次会议的详细演讲内容如下：演讲提纲：一、为什么 Agentic 推理需要新的推理引擎1.1 Agentic 工作负载带来的新挑战<ul data-type="bulletedlist"><li data-type="listitem">Agent 与 Chat 的推理模式差异</li><li data-type="listitem">Token Throughput 与 User Latency 的重新平衡</li><li data-type="listitem">KV Cache 成为核心资源</li></ul>1.2 模型与硬件复杂度同步提升<ul data-type="bulletedlist"><li data-type="listitem">MoE、MLA、异构并行成为主流</li><li data-type="listitem">Blackwell 带来的新硬件能力</li><li data-type="listitem">Runtime 与 Kernel 为什么必须协同设计</li></ul>二、Runtime：构建可扩展的推理引擎架构2.1 分层架构设计<ul data-type="bulletedlist"><li data-type="listitem">Control Plane</li><li data-type="listitem">Execution Plane</li><li data-type="listitem">Kernel Plane</li></ul>2.2 自动并行编译<ul data-type="bulletedlist"><li data-type="listitem">Placement 类型系统</li><li data-type="listitem">Local-SPMD Compiler</li><li data-type="listitem">自动生成通信</li><li data-type="listitem">Deferred Reduce 等优化</li></ul>2.3 请求调度与资源管理<ul data-type="bulletedlist"><li data-type="listitem">C++ FSM 生命周期管理</li><li data-type="listitem">RAII 与类型安全</li><li data-type="listitem">KV Cache 生命周期</li><li data-type="listitem">Retraction 与 Prefix Cache</li></ul>三、Kernel：让 MLA 真正跑满 GPU<ul data-type="bulletedlist"><li data-type="listitem">MLA Decode 的性能瓶颈</li><li data-type="listitem">Blackwell Kernel 优化</li><li data-type="listitem">Speculative Decoding 优化</li><li data-type="listitem">Prefill 优化</li></ul>四、跨平台 Kernel 设计<ul data-type="bulletedlist"><li data-type="listitem">Registry + Selector：统一 API 如何支持多种硬件</li><li data-type="listitem">AMD GPU 实践：介绍 GPT-OSS 在 MI355X 上的 Kernel 适配经验，以及不同硬件如何共享同一套 Runtime</li></ul>五、工程实践与性能收益<ul data-type="bulletedlist"><li data-type="listitem">Runtime 调度效率提升</li><li data-type="listitem">MLA Kernel 优化效果</li><li data-type="listitem">Speculative Decoding 加速</li><li data-type="listitem">端到端推理性能提升</li></ul>演讲痛点<ul data-type="bulletedlist"><li data-type="listitem">架构抽象与性能优化</li></ul>听众收益<ul data-type="bulletedlist"><li data-type="listitem">理解 Agentic 推理场景与传统 LLM 推理在负载特征和优化目标上的核心差异</li><li data-type="listitem">掌握面向 Agentic 场景的 Runtime 架构设计思路，包括分层架构、自动通信编译、请求生命周期管理以及 KV Cache 调度等关键技术</li><li data-type="listitem">学习 Runtime 与 Kernel 协同优化的方法，以及跨平台 Kernel 抽象设计在异构算力环境中的工程实践</li><li data-type="listitem">了解 TokenSpeed 在真实业务场景中的性能优化经验，为构建高性能、大规模 LLM 推理系统提供可借鉴的工程思路</li></ul>除此之外，本次大会还策划了<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1950" title data-type="link">超级个体与蜂群智能的共生进化</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1952" title data-type="link">迈向机器人 AGI 的关键技术与产业实践</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1953" title data-type="link">Agent 安全：从风险到可控</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1955" title data-type="link">端侧智能与 AI 原生终端</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1958" title data-type="link">AI Agent 高价值商业场景实战</a>等 11 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。大会限时早鸟票享 8 折专属优惠，现在报名立减 1160，更多详情可扫码或联系票务经理 13269078023 进行咨询。

🔗 查看原文 ↗

← 返回资讯列表