📰 AI 资讯

UniRL：统一多模态 RL 框架的 2.4X 端到端性能优化实践｜AICon深圳

2026-07-13 11:15

Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？ 答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。在这一背景下，<a href="https://aicon.infoq.cn/2026/shenzhen/track" title data-type="link">2026 年 AICon 人工智能开发与应用大会 · 深圳站</a>正式启动。本次大会将于 8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。腾讯多模态 RL Infra 负责人朱文熙已确认出席 “<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>” 专题，并发表题为《<a href="https://aicon.infoq.cn/2026/shenzhen/presentation/7187" title data-type="link">UniRL：统一多模态 RL 框架的 2.4X 端到端性能优化实践</a>》的主题分享。多模态生成模型（图像/视频/3D）的强化学习正在成为提升生成质量与对齐效果的关键路径，但 Diffusion RL 与 LLM RL 在 Infra 层面有本质差异：Rollout 是 compute-bound 的密集矩阵运算（难以靠调度优化）、Agentic 场景下低密度计算（PE / Tool Call）与高密度计算（Diffusion Denoise）串行导致算力难以打满、Reward 负载异构且 bursty。这三点让 LLM RL 框架的经验无法直接迁移。本次分享将完整呈现 UniRL 从架构设计、自研算子、训推一致性到异步引擎的全链路工程实践，以及落地过程中真实的 tradeoff 与踩坑。朱文熙，腾讯多模态 RL Infra 负责人，南京大学硕士毕业后就职于英特尔，从事安卓平台编译器研发；2016 年转向 AI Infra 方向，负责了英特尔的 Tensorflow/Pytorch 开源支持，优化在 x86 平台上的性能；2019 年加入腾讯后，带领团队从零开始支持“绝悟”和“绝艺”游戏 AI 的训练推理优化；目前作为腾讯混元多模态团队的 RL Infra 负责人，重新打造了图片生成/视频生成/世界模型/3D 生成/ ASR / TTS /语音对话/视频对话的 RL 框架。他在本次会议的详细演讲内容如下：演讲提纲：为什么 Diffusion RL 需要一个新框架<ul data-type="bulletedlist"><li data-type="listitem">训练优化 vs 推理优化的本质差异：推理目标单一（速度/成本），RL 训练目标多元（正确性 > 扩展性 > 性能），且误差会累积放大</li><li data-type="listitem">Diffusion RL ≠ LLM RL 的三个 Infra 挑战：Rollout compute-bound、混合架构（PE/Tool Call + Denoise）调度困难、Reward 异构且 bursty</li><li data-type="listitem">组织层面的隐性成本：算法与 Infra 的信息不对称如何拖慢迭代，以及我们「Infra 团队配置算法工程师做沟通桥梁」的实践</li></ul>2. 训得稳（一）：简洁的界面设计<ul data-type="bulletedlist"><li data-type="listitem">Role/Worker 分离架构：算法逻辑与物理资源管理解耦，资源拓扑由配置文件驱动</li><li data-type="listitem">原子化插件架构：算法与模型独立插件式接入，降低跨模型、跨算法适配成本</li><li data-type="listitem">类单机编程抽象：屏蔽分布式与并行策略复杂度</li><li data-type="listitem">对比实证：同一个 FlowGRPO 算法，UniRL 配置一键接入 vs Verl 需手写 TaskRunner、手动编排 Role/Worker/ResourcePool、每个「模型 × 算法」实现一个 pipeline</li></ul>3. 训得稳（二）：Bitwise 训推一致性<ul data-type="bulletedlist"><li data-type="listitem">痛点：低精度 Rollout 引入训推不一致 → 训练无法收敛</li><li data-type="listitem">Challenge 1：高性能 GEMM 依赖 split-k，浮点累加顺序不一致 → 多次计算无法 bitwise 对齐</li><li data-type="listitem">Solution：解耦「计算」与「规约」两阶段，以固定拓扑顺序串行累加</li><li data-type="listitem">Challenge 2：多维并行策略切换（TP1 ↔ TP2）→ 形状变化、跨卡分布式规约 → bitwise 对齐失效</li><li data-type="listitem">Solution：K 维等价分段迭代 + 定序序列化规约</li></ul>4. 训得快：自研 FalconGEMM，突破硬件峰值算力<ul data-type="bulletedlist"><li data-type="listitem">代数级优化：O(N³) → O(N^2.807)</li><li data-type="listitem">Challenge：大量中间结果、冗余访存、算子碎片化、写冲突</li><li data-type="listitem">Solution：Group 并行融合消除冗余访存与写冲突、拆分组并行恢复负载均衡、缓存感知调度提升 L2 命中率</li><li data-type="listitem">跨平台与多数据类型：基于 TVM + Triton 做硬件无关的声明式描述，自动完成常数折叠、寄存器复用、指令交错</li><li data-type="listitem">实测数据：单算子 BF16 +15.3% / FP8 +17%；端到端 BF16 8–14% / FP8 最高 36%（H20 实测对标 cuBLAS / CUTLASS）</li></ul>5. 扩展性：异步训推引擎<ul data-type="bulletedlist"><li data-type="listitem">趋势：新一代模型需多轮 tool use，Rollout 从「计算任务」变为「Agent 轨迹执行」，从 Single-turn 走向 Multi-turn Agentic Diffusion RL</li><li data-type="listitem">痛点：GPU 利用率

🔗 查看原文 ↗

← 返回资讯列表