📰 AI 资讯

首个具身视频基模开源！LingBot-Video 如何为“机器人大脑”构建物理引擎？

2026-07-09 15:32

视频模型赛道正分化成两条路：一条通向影院，一条通向机器人。过去两年，热钱和掌声都涌向第一条路，大家比的是如何让观众觉得更真实：画质要清晰，要有美感，镜头语言要足够丰富。第二条路却完全不同，它比的是世界规律不能错：手指不能穿过物体，液体不能违背重力向上流，杯子被碰倒后不能凭空回到原位。同样的微小错误，在前一条可能只是一个穿帮镜头，但在后一条，就是致命错误，说明机器人从一开始就学错了物理世界的规则。通向机器人的路显然更难走，却也成了头部团队为视频模型押注的下一个高价值方向。有观点甚至认为，视频模型的终局价值就在“世界模拟”。这也是为什么，蚂蚁灵波这次的产品发布周，能够再次引发行业广泛讨论。7 月 6 日，蚂蚁灵波以一支短片的形式，宣布全栈 2.0。随后一周，密集发布多款模型，包括全新一代空间感知模型 LingBot-Depth 2.0、视觉基座模型 LingBot-Vision、新一代具身基座模型 LingBot-VLA 2.0。其中，7 月 9 日开源的视频生成基座模型 LingBot-Video，不卷画面像不像电影，只死磕一个问题：一次动作发生后，世界会怎样变化？模型学的，是建立动作、事件与环境变化之间的因果链，预判真实物理世界如何演化。简单来说就是，教会机器人理解做一件事会带来什么后果。比如，它知道拿起一个玻璃杯，用多大的力度才能抓牢，用多大的力度会捏碎；水龙头开了，它知道杯子放到水流下面就能接水，移开就接不到水。这些对人类来说不过是肌肉记忆，但在机器人的世界里，都是需要一点点补全稳定操作的重要拼图。评测结果显示，LingBot-Video 在生成机器人相关视频时，更能保持动作过程的合理性和任务执行的完整性。在北京大学联合字节跳动发布的基准 RBench 上，LingBot-Video 的总分是 0.620，超越了 Wan2.6（0.607）、Seedance 1.5 Pro（0.584）、Cosmos3 Super（0.581）。RBench 作为面向机器人操作视频的综合评测基准，重点考察模型能否生成符合真实物理规律的机器人行为。为了检验 LingBot-Video 作为物理世界模型的能力，蚂蚁灵波技术团队从两个维度进行评测：一般质量衡量基础生成能力，具身领域考察与具身 AI、真实世界交互相关的高难度场景。内部评估结果显示，图生视频（TI2V）设定下，LingBot-Video 在这两个维度上，超过包括英伟达 Cosmos 3、Wan 2.2 A14B 在内的五个主流开源视频模型，拿下 SOTA；文生视频（T2V）设定下，LingBot-Video 在一般质量中排名第二，但具身领域评分仍优于 Cosmos 等竞争模型。这组结果说明，在机械臂操作、避障等需要精确物理轨迹的场景中，LingBot-Video 更擅长把动作、物体状态与环境变化连成一条因果链。哪怕没有初始画面，它也能显示出一定的世界状态推演能力。这些恰恰是机器人能把日常小事稳定做对，最缺的一层能力。项目链接：<a href="https://technology.robbyant.com/lingbot-video" title="xxx" data-type="link">technology.robbyant.com/lingbot-video</a>GitHub：<a href="https://github.com/robbyant/lingbot-video" title="xxx" data-type="link">github.com/robbyant/lingbot-video</a>Checkpoints：<a href="https://huggingface.co/robbyant/lingbot-video-moe-30b-a3b" title="xxx" data-type="link">huggingface.co/robbyant/lingbot-video</a>魔搭社区链接：<a href="https://www.modelscope.cn/collections/Robbyant/LingBot-Video" title="xxx" data-type="link">https://www.modelscope.cn/collections/Robbyant/LingBot-Video</a><h2 data-type="heading" data-id="heading0">从“炫技”到“有用”，机器人为什么需要具身视频基础模型？</h2>过去两年，机器人频频刷屏。上春晚表演，跑马拉松，去山路探险，走进景区与游客互动。机器人在真实世界里一次又一次地惊艳亮相，但围绕它们的疑问始终没有消失：除了制造惊叹，机器人什么时候才能真正“有用”？让机器人进入家庭、门店、仓库和工厂的，不是再完成一个更高难度的舞蹈动作，是把人类习以为常的小事做对。比如，水流突然出现时，它知道什么时候拿杯子去接水；桌面杂乱时，它能判断什么该收拾，以及该放到哪里。这些任务看起来平淡，却比跳舞更接近通用机器人真正的难题。因为机器人面对的，是一个持续变化、充满不确定性的真实环境。它需要先理解眼前发生了什么，接着还要预测自己做出一个动作后，可能会发生什么，最后执行正确的行动。视频模型被具身智能视为关键突破口，是因为它能用连续画面建模世界状态变化，把“看到什么”“做了什么”“结果如何”连接成一条因果链。从全球头部团队近两年的技术路线看，面向具身智能的视频模型，至少需要补齐三层能力：理解当前世界状态，预测动作可能带来的后果，并在此基础上为机器人的策略生成、行动评估与规划提供依据。最终形成从理解、预测到决策的完整闭环。英伟达曾在 Cosmos 3 中提出，Physical AI 系统需要先理解当前世界发生什么，再预测接下来可能发生什么，最后针对具体环境、机体形态和任务生成动作。Cosmos 3 明确将物理推理、未来世界生成和动作生成统一为一套能力。谷歌 DeepMind 的技术路线，也从侧面印证了这一能力链：Genie 3 将世界模型定义为利用对世界的理解来模拟环境，使智能体能够预测环境如何演化、以及自身行动会造成什么影响。在这条完整的链路中，任何一个环节的微小偏差，都可能被后续动作不断放大。更危险的是，这类偏差很可能在视觉上对人类造成欺骗：视频依旧流畅、连贯，看似合理，但其中的空间关系、接触过程和状态变化，早已偏离真实世界。2026 年 CVPR Workshop 的 RoboWM-Bench，就曾揭示过“视觉合理≠物理正确”这一关键矛盾，并指出主流模型在复杂、长程交互中，容易暴露空间推理错误、接触关系预测不稳定、物体出现不符合物理规律的几何变形等问题。RBench 在 2026 年对 25 个代表性视频模型进行了具身场景评测后也发现，许多模型在视觉效果上已经颇具说服力，但在结构一致性、物理合理性和动作完整性上仍有明显缺陷。研究者据此提出，面向机器人的视频模型，不能只评估“生成得像不像”，还必须评估“任务是否成立、动作是否能执行”。这也是为什么，通向影院的通用视频模型，很难直接成为机器人可信赖的世界模型。对机器人来说，真正需要的，不是视频看起来有多像电影，是能理解物理世界如何变化，动作符合物理法则。某种意义上，一段物理正确的 480p 预测，比一段杯子穿过桌面的 4K 大片，更有价值。LingBot-Video 想解决的，正是这个问题。它将物理正确性置于美学优化之上，关注的是“动作如何改变世界”，让模型学习动作、事件和环境变化，预测真实物理世界如何演化，最终服务于机器人的世界预测、动作理解和自主训练。从实际的视频生成效果来看，LingBot-Video 确实把一些容易被忽略的物理细节，处理得很好。比如在这段视频中，勺子在杯中搅拌咖啡时，咖啡会沿着搅拌方向流动，形成自然的漩涡，奶泡也随之变化。手掌张开后，沙子会自然地沿着指缝向下洒落，落下的沙子逐渐堆积成小丘，并且随着持续下落的沙土慢慢扩大。把水倒进透明杯子中，也能清晰看到液面、气泡和折射光影的变化。在一段机器人收纳口红的第一视角视频中，机械臂从桌面上拿起口红，再放回收纳盒。口红落入盒中的瞬间，甚至还能看到由下落和触碰盒体带来的轻微抖动，极其真实。这段机器人滑雪的视频更是难辨真假，雪板经过的地方带起细碎的雪花，雪花自然飞溅，短暂飘在空中，最后落回雪道。在 LingBot-Video 官网，还有更多真实 Demo。从骑自行车、滑板、跑步，到拳击、踢足球、投篮，再到切菜、擦桌子等日常操作，覆盖了人体运动、人与物交互、工具使用等多类场景。这些视频之所以对具身智能重要，是因为它们把动作之后的结果准确地呈现了出来。物体会因接触产生反馈、沙土离手会自由落体、液体会按照重力和容器边界流动、光影会随着液体增加发生变化……对机器人来说，这些细节才是理解世界、预测世界并最终改变世界的基础，这也是 LingBot-Video 选择死磕物理法则的原因。<h2 data-type="heading" data-id="heading1">为下一代“机器人大脑”构建物理引擎</h2>教会模型物理法则的第一步，需要回答一个更前置的问题：为什么通用视频模型当不了机器人的世界模型？LingBot-Video 团队将其归结为三重错配：第一重是架构错配。通用视频模型大多基于扩散模型，擅长从噪声中一步步还原出连续画面。传统稠密架构下，每一次去噪，模型都要调动整套参数，计算成本高、可扩展性差，推理效率也很低。对需要实时响应的机器人来说，稠密架构难以满足硬件延迟要求。第二重是数据错配。通用视频模型的训练数据主要来自互联网，场景覆盖日常视频、影视素材、互联网内容，模型学习目标是生成自然、好看的视频。但这些数据缺失了机器人真正需要的一手经验，它不知道手碰到杯子之后会发生什么，很难理解物理世界如何变化。第三重是训练目标错配。通用视频模型的训练目标更多还是围绕画面是否逼真、是否有美感，以及文本和视频之间是否对齐。这些目标对准的是内容创作场景，但对具身智能场景来说，视觉合理≠物理正确，模型需要学会真实世界中动作、事件与环境变化之间的因果关系。三重错配指向的，是通用视频模型和面向具身智能视频模型之间的鸿沟：现有通用视频模型难以同时获得可扩展性、物理一致性与具身扎根。LingBot-Video 的解法，就是以三个一体化组件回应这些限制：<ul data-type="bulletedlist"><li data-type="listitem">采用 MoE 架构，在模型表征能力与推理效率之间实现更优平衡，并完成从零开始的大模型规模扩容；</li><li data-type="listitem">搭建一套数据特征分析引擎，在通用互联网视频基础上，引入了超 70000 小时具身多模态数据，覆盖 VLA、VLN、Ego-vision 等具身场景；</li><li data-type="listitem">设计多维奖励机制，通过引入物理合理性与任务完成度的双重约束，对模型进行了针对性的强化对齐训练。</li></ul><h4 data-type="heading" data-id="heading2">化繁为简，以 MoE 架构破解稠密计算难题</h4>对视频模型来说，物理世界的复杂性在于不同维度的信息必须同时成立。从空间布局到相机运动，从物体轨迹到状态延续，通通都要满足物理法则。视频生成要想模拟连续物理世界，需要同时表征复杂物理过程的视觉现象，比如流体运动、三维空间一致性、不同运动轨迹和丰富材料纹理，等等。主流的通用视频模型普遍采用稠密架构，无论当前 token 处理的是什么，所有参数都会走同一条计算路径。随着模型和视频长度扩大，这种方式容易导致严重的子任务干扰，计算成本也更高。MoE 架构的解题思路是稀疏激活，不让所有参数同时参与计算，通过路由机制为不同 token 选择少量专家激活，提升模型容量的同时，控制推理成本。近几年，MoE 架构已经在大语言模型中得到反复验证，它可以在近似固定的每 token 计算预算下，显著扩大模型总参数容量。与稠密架构相比，MoE 架构更契合具身智能领域对低成本、高频率迭代的需求。LingBot-Video 采用的就是 MoE 架构，总参数 30B，单次生成仅激活约 3B 参数参与计算。就像模型拥有一个大型专家团队，面对具体问题，只需派出部分最相关的专家出场就能解决。既保留了大模型的容量，也降低了实际运行时的计算压力。架构带来的效率优势也引发海外网友广泛讨论。网友 Eclipse 评价称，“30B 总参数、3B 激活参数，对于视频模型来说是一个相当不错的效率比。”网友 AI Mastery Guide 也表示，“在 30B 参数中只激活 3B，是让模型能够在真实硬件上运行的聪明取舍。”为了让这些专家团队高效协作，LingBot-Video 在 MoE 上又做了几层约束。第一层是细粒度专家切分与共享专家隔离。把专家切得更细，每个专家只需深耕一个窄域；同时保留共享专家，沉淀跨领域的通用经验。第二层是分组受限路由。MoE 的难点之一，是专家可能分布在不同设备上，路由过于自由会带来大量跨设备通信。LingBot-Video 先从专家组中筛选候选范围，再从范围内选出少量专家，尽量把计算成本控制在可扩展的区间，降低分布式训练中的通信成本。第三层是在线偏置校正。 训练过程中动态调整每个专家的选择门槛，在保证表征能力的同时维持专家负载均衡，避免出现“忙的忙死、闲的闲死”。第四层是序列级辅助损失。 传统的负载均衡往往只看整个 batch 的平均情况，但由于单个视频序列包含极其庞大的 token 量，平均值可能掩盖单条视频内部的路由不平衡，因此序列级的约束至关重要。LingBot-Video 把平衡约束下沉到单个视频序列，避免某段视频在内部形成新的专家拥塞。这些设计最终转化为实打实的效率优势。实验数据显示，在活跃计算预算相近的情况下，总参数 13B、活跃参数 1.4B 的 MoE 模型，在整个训练过程中持续优于活跃参数约 1.3B 的稠密模型；在相同计算约束下，MoE 模型的总参数容量约为稠密模型的 10 倍，能提供更大的物理世界先验库。进一步对比发现，MoE 13B-A1.4B 和 MoE 30B-A3B 的性能，始终优于活跃参数规模约为其两倍的稠密模型，MoE 30B-A3B 的表现甚至已经接近 14B 的稠密模型。在序列长度达到百万 token 的极端条件下，MoE 30B-A3B 的推理速度是同等性能稠密模型的 1.5 到 3 倍以上，与活跃参数等量的 Dense 3B 相比，延迟基本持平。这说明，LingBot-Video 采用的 MoE 架构，能在扩大模型容量的同时，提高推理效率，满足具身智能产业级部署和高频迭代的要求。MoE 与稠密模型的推理效率对比<h4 data-type="heading" data-id="heading3">超 7 万小时具身数据，为机器人补上行动经验</h4>架构解决的，是在模型效果、推理效率以及计算成本之间实现更优平衡，为具身智能的低成本、高频率迭代提供底层基础。数据解决的，是为模型注入行动经验，让它更好地理解物理世界如何变化。如前文所说，通用视频模型的训练数据主要来自互联网视频。这些数据规模巨大，覆盖了海量的场景、物体，

🔗 查看原文 ↗

← 返回资讯列表