📰 AI 资讯

vLLM 针对多模态模型的推理优化实践｜AICon深圳

2026-07-10 10:00

Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？ 答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。在这一背景下，<a href="https://aicon.infoq.cn/2026/shenzhen/track" title data-type="link">2026 年 AICon 人工智能开发与应用大会 · 深圳站</a>正式启动。本次大会将于 8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。InferactvLLM committer 莫梓峰已确认出席 “<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>” 专题，并发表题为《<a href="https://aicon.infoq.cn/2026/shenzhen/presentation/7150" title data-type="link">vLLM 针对多模态模型的推理优化实践</a>》的主题分享。如今开源大语言模型的迅速发展，随着 Kimi-K2.6、 Qwen3.6 及 cosmos3 等支持原生多模态的大语言模型发布，多模态大语言模型已成为未来发展趋势。vLLM 作为主流开源推理框架之一，其针对多模态模型结构引发的性能瓶颈，进行了包括 Encoder cache、Encoder DP 及 Encoder Cuda Graph 在内的一系列性能优化，本演讲将深入讲解 vLLM 用于优化多模态模型的关键技术，并展示如何使用最新版本 vLLM 高效部署多模态模型。莫梓峰，硕士毕业于中山大学，现就职于 Inferact。作为 vLLM 多模态部分的几位核心开发者之一，深度参与了 vLLM 多模态模型的支持与优化特性维护。截至 2026 年 6 月，vLLM 已在 GitHub 上获得 82k star，并被广泛应用于 AWS、Meta、Digital Ocean 等大型厂商的生产环境中。他在本次会议的详细演讲内容如下：演讲提纲：vLLM 的核心优化技术<ul data-type="bulletedlist"><li data-type="listitem">PagedAttention</li><li data-type="listitem">Continuous Batching</li></ul>2. 多模态模型推理在 Continuous Batching 框架下面临的挑战3. 针对多模态模型的多级缓存设计<ul data-type="bulletedlist"><li data-type="listitem">Encoder cache</li><li data-type="listitem">Processor Cache</li></ul>4. 针对多模态模型 encoder 的优化<ul data-type="bulletedlist"><li data-type="listitem">ViT DP</li><li data-type="listitem">Encoder Cuda Graph</li></ul>5. vLLM 的社区生态及其如何面对未来的多模态发展趋势实践痛点<ul data-type="bulletedlist"><li data-type="listitem">性能瓶颈在整个推理系统中的转移</li><li data-type="listitem">开发人员人手严重匮乏</li></ul>听众收益<ul data-type="bulletedlist"><li data-type="listitem">vLLM 的多项核心优化技术</li><li data-type="listitem">vLLM 的社区生态</li></ul>除此之外，本次大会还策划了<a href="https://aicon.infoq.cn/2026/shenzhen/track/1949" title data-type="link">AI Infra、推理工程与异构计算</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1950" title data-type="link">超级个体与蜂群智能的共生进化</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1952" title data-type="link">迈向机器人 AGI 的关键技术与产业实践</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1953" title data-type="link">Agent 安全：从风险到可控</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1955" title data-type="link">端侧智能与 AI 原生终端</a>、<a href="https://aicon.infoq.cn/2026/shenzhen/track/1958" title data-type="link">AI Agent 高价值商业场景实战</a>等 11 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。大会限时早鸟票享 8 折专属优惠，现在报名立减 1160，更多详情可扫码或联系票务经理 13269078023 进行咨询。

🔗 查看原文 ↗

← 返回资讯列表