当前位置:首页 > 软件工具 > 正文

MoWorld 2.0:70 帧的 4D 世界模型,跑在昇腾上意味着什么

约 3955 字 · 预计阅读 10 分钟
一句话总结:魔芯科技在乌镇发布 MoWorld 2.0,基于华为昇腾原生开发,把重力、弹力、浮力、光照和刚体柔体流体特性纳入空间建模,输出可反复调用的 4D 高斯资产。官方给的数字是视频推理约 70 帧/秒、资产渲染超 500 帧/秒——这是两个不同环节的速度,不能混着看。

看到「70 帧」和「500 帧」并排出现,我第一反应是:这俩不是一回事。

一个是生成,一个是绘制。前者决定模型能不能跟上真实世界的变化,后者决定画面看着顺不顺。

混在一起说,容易让人以为这套东西快到不需要等。实际上要等的部分在推理那一环。

一、MoWorld 2.0 在做什么:把物理规律塞进 4D 表示

MoWorld 2.0:70 帧的 4D 世界模型,跑在昇腾上意味着什么

图 1:70 帧指的是上面那条,500 帧是下面那条。差距在 7 倍

先说它想解决什么。

传统的 3D 场景建模,建完之后是静态的。你要它「动起来」,得另外做物理仿真:重力怎么算、碰撞怎么解、柔体怎么形变,一套独立的引擎。

MoWorld 2.0 把这些纳入了建模本身。官方说法是:把重力、弹力、浮力、光照等因素,以及刚体、柔体、流体等对象特性纳入空间建模。

输出是「4D 高斯资产」——带时间维的高斯表示,可以实时渲染、反复调用,还支持场景编辑和互动。

关键在「反复调用」。 如果每次交互都要重新跑一遍生成,那它就是个视频生成器。能反复调用意味着这份资产被存下来了,换个视角、换个时间点,直接取用。

二、70 帧推理和 500 帧渲染是两回事

现在说那两个数字。

视频推理 70 帧/秒:模型每秒能算出 70 个时间步的 4D 状态。换成每帧耗时,是 14.3 毫秒。

资产渲染 500 帧/秒:把已经算好的 4D 高斯画到屏幕上,每秒 500 帧,每帧 2 毫秒。

两个环节串起来看:

环节 速度 每帧耗时 干什么
视频推理70 fps14.3 ms算出下一时刻的场景状态
资产渲染500 fps2.0 ms把状态画成画面

如果实时交互的门槛定在 30 帧(每帧 33 毫秒),那 70 帧的推理是有余量的——余量大概是 2.3 倍。

但要注意:这个 70 帧是在什么分辨率、什么硬件、什么场景复杂度下测的,材料没说。这三个变量任何一个变,数字都会大幅波动。

三、为什么要用 4D 高斯而不是体素

4D 高斯是 3D 高斯(3DGS)加了时间维。3DGS 这两年在重建领域很热,因为它比神经辐射场(NeRF)快得多——渲染是光栅化,不是逐点采样。

好处有三个:

第一,渲染快。 高斯是显式表示,渲染就是排序 + 混合,GPU 很擅长。这就是 500 帧的来源。

第二,可编辑。 每个高斯有位置、协方差、颜色、透明度,想改哪个改哪个。体素网格改一个格子会牵连周围,高斯不会。

第三,可压缩。 不重要的高斯可以剪掉,重要的保留。这比体素网格灵活。

代价是物理一致性难保证。高斯是一堆椭球,没有「质量」「刚度」这些属性。要让它们遵守重力、遵守碰撞,得额外挂一层物理约束。

MoWorld 2.0 说把物理规律「纳入空间建模」,具体怎么做的没细说。这是我看这篇材料时最想知道的部分。

四、昇腾原生开发:这件事的分量

材料里有一句容易被忽略的话:基于华为昇腾原生开发。

「原生」两个字是关键。不是「适配」,不是「支持」,是从一开始就在昇腾上写。

这件事的分量在于:训练和推理的算子、内存管理、并行策略,都是针对昇腾架构设计的。 换成英伟达的卡,不一定能直接跑,或者跑起来效率打折。

对国内做世界模型、具身智能的团队来说,这是个正面信号——不用等 CUDA 那套工具链的适配,有一条自己的路。

对海外用户来说,这是个门槛——你可能拿不到同等的性能。

五、四个落地场景各自的真实门槛

官方列了四个方向:机器人训练、自动驾驶、工业数字孪生、影视娱乐。

这四件事对世界模型的要求完全不同:

场景 要什么 70 帧够不够
机器人训练物理准确、可并行 rollout够,训练不需要实时
自动驾驶极端场景合成、多视角一致勉强,要看分辨率
工业数字孪生长期稳定、可交互编辑够,但要保证长时间不漂移
影视娱乐画质、可控性够,但要接现有的后期流程

机器人训练这个场景最实在。 训练不需要实时,70 帧甚至太快了——你要的是「能生成大量物理合理的轨迹」,速度慢点无所谓,准确度才重要。

这也是灵波那套机器人大脑缺的一环:那边提供的是策略模型,这边提供的是训练环境。两边凑起来才是完整的「在虚拟世界里练,到真机上用」。

自动驾驶最苛刻。合成一个雨天夜间的行人横穿场景,模型得同时保证光照、反射、物理都合理,还要多视角一致。这个目前应该还做不到。

六、MoWorld 2.0 常见问题

70 帧是实时吗?

相对 30 帧的实时门槛,是。但这是推理速度,端到端延迟还要加上输入编码、后处理和网络传输。

能在消费级显卡上跑吗?

大概率不能。官方没给硬件要求,但「昇腾原生」意味着它针对的是数据中心级的卡。个人开发者暂时用不上。

4D 高斯和 Sora 那类视频生成模型什么关系?

不同的路。视频生成产出的是像素,4D 高斯产出的是可编辑的三维场景表示。前者能做片子,后者能做仿真环境。

「可反复调用」具体指什么?

我理解是资产被持久化,可以在不同时间点、不同视角下取用,不用重新生成。具体接口形式材料里没说。

什么时候能用上?

材料说「正与合作伙伴分步推进」四个场景的验证和交付。意味着还在早期,没有公开的 API 或开源计划。

七、边界

我没跑过这个模型。 70 帧和 500 帧都是官方口径,测试条件(分辨率、场景复杂度、硬件型号)全部未知。这三个变量任何一个变,数字都会差很多。

「物理规律纳入建模」的实现方式我不知道。 是在训练时加了物理约束损失,还是在推理时挂了物理引擎,这两种做法差别很大。前者泛化好但不精确,后者精确但不泛化。

四个场景都还在验证阶段。 「推进验证和交付」不等于已经交付。真实效果要看合作伙伴的反馈。

昇腾原生这件事我没法评估性能。 我不知道它相对同规格的英伟达卡是快是慢。只说「能跑」意义有限。

站内之前写过 Hy-Nomas 的部署账,那篇算的是一个 8B 世界模型在 4090 上的极限。这篇的模型规模大得多,而且绑定了特定硬件,可比性有限。

参考资料

目录导航
  • 一、MoWorld 2.0 在做什么:把物理规律塞进 4D 表示
  • 二、70 帧推理和 500 帧渲染是两回事
  • 三、为什么要用 4D 高斯而不是体素
  • 四、昇腾原生开发:这件事的分量
  • 五、四个落地场景各自的真实门槛
  • 六、MoWorld 2.0 常见问题
  • 七、边界
    • 参考资料
  • 相关文章:

  • Qwen-AgentWorld:一个模型覆盖 7 类环境,靠的是统一接口
  • Hy-Nomas 部署账:12GB 显存能跑,但按下 W 要等 4 秒
  • Qwen-AgentWorld 深度解读:58.71 分不是重点,35B 模型被同一套流程拉高 8.66 分才是
  • Genie 4 深度解读:世界模型开始出声,两分钟连贯是道硬门槛
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。