全球首个面向具身智能的视频基模,蚂蚁灵波 LingBot-Video 开源

2026-07-09 20:01:45
来源:IT之家
分享
AIME

问财摘要

1、蚂蚁灵波科技正式开源了全球首个基于Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型LingBot-Video。 2、该模型在架构、数据和训练三方面进行了系统创新,包括DiT + MoE设计、数据画像引擎与7万小时具身数据、多维强化学习奖励系统等。 3、在面向机器人操作视频的综合评测基准RBench上,LingBot-Video 总分为0.620,优于其他主要基线模型,在具身相关场景中展现出更强的物理理解和动作一致性。 4、LingBot-Video可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向,目前已正式开源。
免责声明 内容由AI生成
文章提及标的

IT之家 7 月 9 日消息,今天,蚂蚁灵波科技正式开源 LingBot-Video。这是全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型。

IT之家附官方详细介绍如下:

过去几年,视频生成模型在画质、流畅度和创意表达上取得了快速进步。但对于具身智能来说,一个看起来逼真、动作流畅的视频,未必能反映真实的物理规律,往往难以支撑机器人连续预测、规划和执行任务。与此同时,具身智能还要求模型具备更高的推理效率,以适应实时交互和控制闭环。

这也让视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是我们面向具身智能开辟视频生成新路线的重要探索 —— 围绕具身智能的核心需求,重新设计视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度等方面实现系统性提升。

架构、数据、训练三方面的系统创新

面向具身智能,LingBot-Video 从架构、数据和训练三方面进行了系统创新:

架构:DiT + MoE 设计

我们以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本。LingBot-Video 的 30B 总参数模型在生成时仅激活约 3B 参数,相比同等参数规模的 Dense 架构拥有约 3 倍的推理效率。这一设计使模型既能获得大规模参数带来的视觉表达能力,又更适合具身智能对高效推理的要求。

数据:数据画像引擎与 7 万小时具身数据

我们构建了数据画像引擎,在海量互联网视频的基础上,进一步引入 VLA、VLN、Ego 等机器人相关数据。这些数据覆盖了灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时。这些数据帮助模型学习动作与环境变化之间的关系,而不只是学习视频的表面纹理和视觉风格。

训练:多维强化学习奖励系统

我们引入了多维强化学习奖励系统。除美学、prompt 跟随和运动一致性等常规指标外,模型进一步围绕物理合理性和任务完成度进行对齐。我们还引入了真实世界视频作为偏好信号,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。

模型效果

在北京大学联合字节跳动发布的基准 RBench 上,LingBot-Video 的总分是 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench 作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。

图说:LingBot-Video 在 RBench 上性能最优

为进一步验证 LingBot-Video 对物理世界变化的建模能力,蚂蚁灵波在内部 Benchmark(BHE) 中从通用质量和具身领域两个维度进行评估。结果显示,LingBot-Video 在具身领域表现优于 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等主要基线模型。此外,在面向物理现象生成与预测的 Physics-IQ Verified 评测中,LingBot-Video 同样排名第一。

综合评测显示,LingBot-Video 在具身相关场景中展现出更强的物理理解和动作一致性

LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前,LingBot-Video 已正式开源。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME