📰 AI 资讯

面向 Qwen 系列模型线性注意力的高性能优化实践｜AICon深圳

2026-07-12 10:00

Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？ 答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。在这一背景下，<a href="https://aicon.infoq.cn/2026/shenzhen/track" title data-type="link">2026 年 AICon 人工智能开发与应用大会 · 深圳站</a>正式启动。本次大会将于 8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。阿里巴巴 Qwen 团队算法工程师章程瑞东已确认出席 “<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>” 专题，并发表题为《<a href="https://aicon.infoq.cn/2026/shenzhen/presentation/7179" title data-type="link">面向 Qwen 系列模型线性注意力的高性能优化实践</a>》的主题分享。自 Qwen-3.5 采用混合注意力结构以来，Qwen 系列模型的线性注意力层 Gated Delta Network（GDN）在训练与推理中的开销日益显著。现有实现面临两大难题：一是多步算子需要反复读写 HBM，访存瓶颈严重；二是状态递推的串行性使算子并行度受限于注意力头数，在长序列、小 batch 或 TP 场景下 GPU 利用率低下。为此，他们提出 FlashQLA —— 基于 TileLang 的高性能线性注意力算子库。核心方案包括：将 GDN Chunked Prefill 的前向与反向流程各拆分为两个融合算子，通过数据复用降低访存开销，并在算子内通过 warp-specialization 实现不同计算的重叠；基于门控衰减的自动化卡内序列并行，并建立数学模型动态调节并行粒度；针对具有指数衰减特性的注意力头，舍弃昂贵的修正矩阵计算，改用轻量级预热获得精确状态。在 Hopper 显卡上，FlashQLA 相比 FLA Triton kernel 实现前向 2–3 倍、反向 2 倍加速，且在 TP 增大时加速比持续提升，显著优化了预训练与端侧推理效率。在本次演讲中，章程瑞东将对此展开详细介绍。章程瑞东，阿里 Qwen 团队算法工程师，主要工作领域为线性注意力与稀疏注意力的算子-算法联合优化，在 Qwen 3.5 及后续模型的预训练与后训练过程中提供相关 infra 支持。曾就职于微软亚洲研究院，参与稀疏注意力优化算法 MInference(Neurips'24) / MMInference(ICML'25) / MTraining(MLSys'26)，上下文窗口拓展算法 LongRoPE(ICML'24)、分布式 LLM 服务系统 ParrotServe(OSDI'24) 等，并参与 Phi-3 系列模型研发。近期主导开发了 GDN Chunked-Prefill 优化方案 FlashQLA，在 Qwen 系列混合注意力模型的训练和推理场景下均有显著的加速效果。他在本次会议的详细演讲内容如下：演讲提纲：1. 背景与挑战<ul data-type="bulletedlist"><li data-type="listitem">Qwen 模型训练与推理 Prefill 过程中 GDN 模块的耗时</li><li data-type="listitem">性能瓶颈剖析：访存密集型：分步 kernel 大量读写 HBM，中间变量开销大并行度受限：状态递推依赖导致 thread block 数量不足，SM 利用率低（尤其在 TP、小 batch 场景）</li></ul>2. 优化方案<ul data-type="bulletedlist"><li data-type="listitem">设计目标：兼顾访存优化与序列并行，避免极端方案（Fully-fused / 多步算子）的缺陷</li><li data-type="listitem">核心策略：拆分为两个 fused kernel，在 kernel 间插入 CP 预处理，平衡数据重用与并行度门控驱动的动态并行：根据 batch_size × num_heads 和序列长度自动开启卡内序列并行利用门控衰减性质：采用 warmup 替代昂贵的修正矩阵计算，大幅降低预处理开销</li></ul>3. 系统设计思路<ul data-type="bulletedlist"><li data-type="listitem">对前向与反向流程做等价的代数改写，降低计算复杂度</li><li data-type="listitem">从门控衰减到滑动窗口及背后的代数原理</li><li data-type="listitem">自动卡内序列并行的参数设计</li></ul>4. 算子实现细节<ul data-type="bulletedlist"><li data-type="listitem">计算与访存负载分析</li><li data-type="listitem">片上资源分析</li><li data-type="listitem">如何用 Tilelang 手动实现 warp-specialization</li></ul>5. 性能评估6. 开放问题<ul data-type="bulletedlist"><li data-type="listitem">GDN 模块剩余的优化空间</li><li data-type="listitem">KDA 及其他线性注意力结构的优化方案</li><li data-type="listitem">芯片硬件方面对线性注意力算子的限制</li></ul>实践痛点<ul data-type="bulletedlist"><li data-type="listitem">不能覆盖所有场景</li><li data-type="listitem">算子复用性较差</li></ul>听众收益<ul data-type="bulletedlist"><li data-type="listitem">线性注意力模块在系统上的一些性质</li><li data-type="listitem">与算法创新相结合的系统优化流程</li><li data-type="listitem">复习线性代数</li></ul>除此之外，本次大会还策划了<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1950" title data-type="link">超级个体与蜂群智能的共生进化</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1952" title data-type="link">迈向机器人 AGI 的关键技术与产业实践</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1953" title data-type="link">Agent 安全：从风险到可控</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1955" title data-type="link">端侧智能与 AI 原生终端</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1958" title data-type="link">AI Agent 高价值商业场景实战</a>等 11 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。大会限时早鸟票享 8 折专属优惠，现在报名立减 1160，更多详情可扫码或联系票务经理 13269078023 进行咨询。

🔗 查看原文 ↗

← 返回资讯列表