当前位置:首页 > 软件工具 > 正文

NVIDIA 开源 Cosmos 3:世界模型,最小配置一张卡

约 3256 字 · 预计阅读 9 分钟
一句话总结:NVIDIA 在 Hugging Face 上放出了 Cosmos 3 世界模型的开放权重,面向驾驶和机器人场景;最小配置一张工作站 GPU 就能跑,它和视频生成模型的区别是"物理一致的预测"而不是"好看的画面"。

11 月 5 日,NVIDIA 把 Cosmos 3 世界模型的权重放上了 Hugging Face。

这条新闻比同期的模型发布安静得多,但对做机器人和自动驾驶的人来说,它可能是本周最实用的一条。

Cosmos 3 开放的是权重,不是服务

先说这个"开放"的形态:权重放在 Hugging Face,附 model card 和开发者文档,最小配置一张工作站 GPU 就能跑。

这意味着三件事:可以下载、可以本地跑、可以改造。不是 API,不是试玩页面,是拿回去自己部署。

开放的是驾驶和机器人两个方向的世界模型。这两个领域是它最合理的首发场景,原因下面说。

世界模型和视频生成的区别

乍一看,世界模型和视频生成模型干的是同一件事:给个条件,生成下一帧画面。

区别在目标。视频模型的目标是"人看着真实"——光影、纹理、运动流畅。世界模型的目标是物理一致,给定"方向盘左转 15 度"这个动作,生成的下一帧必须符合物理规律,车身位置、其他物体的相对运动都不能错。

前者错了观众皱眉,后者错了训练出来的策略就是废的。

所以两者对"错误"的容忍结构完全不同。视频模型错了,观众看到一段怪画面;世界模型错了,机器人策略会学到一套不存在的物理,然后在真实世界里付账。

这也是为什么世界模型的评测比视频模型难,画面好不好看能人评,物理对不对得用真值比对,而真值只能从真实世界采。

一张工作站卡的显存门槛

官方给的最低硬件描述是"一张工作站 GPU"。按当前产品线,工作站卡指的是 RTX 6000 Ada(48GB)或者更早的 A 系(48GB)这个量级。

具体多大的模型、什么精度、跑多长序列,model card 里没给全,我不编数字。读配置参数的具体做法,Gemma 4 那篇写过:层数、KV 头数、序列长度,三个数定了显存就能估出来。能确定的是:这个门槛针对的是推理/仿真,不是从头训练。 训世界模型的算力需求是另一个量级。

实用上的建议是:先把 model card 里的配置参数读一遍,按上一批那套方法反推,层数、KV 头数、序列长度,估出 KV 和权重的显存占用,再决定怎么部署。

驾驶和机器人:为什么这两个领域最需要

世界模型解决的是同一个问题:真实世界的试错太贵。

自动驾驶要让策略学会处理罕见场景,得在真实道路上跑几百万英里。机器人要让策略学会抓取,得在真实硬件上摔几万次。两者都慢、都贵、都危险。

世界模型把试错搬进仿真:策略在生成的世界里做一万次尝试,模型负责生成"如果你这么做,世界会变成什么样"。

NVIDIA 开源 Cosmos 3:世界模型,最小配置一张卡

图 1:真实数据训世界模型,世界模型当仿真器,策略在仿真里做 RL,最后部署回真实世界

这条链路里每一环都有损耗:世界模型的物理误差会传给策略,策略学到的"经验"有一部分是仿真的错误。所以流程里的最后一步,部署回真实世界验证,永远不能省。

关于 Cosmos 3 的五个问题

能商用吗? 权重挂在 Hugging Face,许可证以 model card 为准。NVIDIA 的开源模型历史上常见"非商业或附加条款",用之前读一遍。

和 Uranus 那种机器人世界模型是什么关系? 同一赛道。Cosmos 覆盖驾驶和机器人,Uranus 主打跨机器人形态的统一表示,后者多了"骨架统一编码"这一层。

显存到底要多少? 官方只说一张工作站卡。按 48GB 档估算比较稳,具体等社区实测。

能直接当视频模型用吗? 能出画面,但它优化的目标是物理一致性,美学质量大概率不如同代的视频生成模型。

评测在哪? 暂时没有公开的第三方基准。世界模型的评测体系本身还在建设中。

结语

Cosmos 3 这条新闻的关键词是"权重开放",不是"性能领先"。

NVIDIA 卖卡,世界模型开源对它稳赚,模型跑得越多,卡卖得越多。这个动机决定了它的开放会持续,也决定了它不会开放最贵的训练部分。

对想做机器人或驾驶仿真的团队,现在可以下载试的东西又多了一个。先跑通最小配置,再谈够不够用。

同周还有 D-Robotics 的 Uranus,把五种机器人的数据统一成一套骨架表示。两个开源放在一起看,机器人仿真这块的公共基础设施,这个月补上了两块。

参考资料

目录导航
  • Cosmos 3 开放的是权重,不是服务
  • 世界模型和视频生成的区别
  • 一张工作站卡的显存门槛
  • 驾驶和机器人:为什么这两个领域最需要
  • 关于 Cosmos 3 的五个问题
  • 结语
    • 参考资料
  • 相关文章:

  • MoWorld 2.0:70 帧的 4D 世界模型,跑在昇腾上意味着什么
  • 蚂蚁灵波 LingBot:9 个月 220 万下载,机器人大脑开源了什么
  • Qwen-AgentWorld:一个模型覆盖 7 类环境,靠的是统一接口
  • Hy-Nomas 部署账:12GB 显存能跑,但按下 W 要等 4 秒
  • Qwen-AgentWorld 深度解读:58.71 分不是重点,35B 模型被同一套流程拉高 8.66 分才是
  • Genie 4 深度解读:世界模型开始出声,两分钟连贯是道硬门槛
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。