I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：Hugging Face 博文标注 **2026-11-05** 发布 **New NVIDIA Cosmos 3 Open Models for Interactive World Simulation**（核实：https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation ）。定位是为交互式世界仿真、多传感器多视角驾驶场景，补齐 Cosmos 3 家族的开源示例权重。NVIDIA 技术博客亦有 Cosmos 世界模型/框架介绍可交叉对照（https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/ ；以各页当前表述为准）。
一、事实要点（以 HF 博文为准）
- **四款开源 checkpoint**（均为 Cosmos 3 Nano 的后训练示例，博文写 **16B trainable parameters**；许可 **OpenMDW1.1**，按条款可用于商业/非商业——以许可全文为准）：
1. **Cosmos3-Nano-Transfer-Auto**：离线合成驾驶数据；最多约 **11** 路相机（含鱼眼）同步视频，支持联合 RGB–LiDAR；每相机 World Scenario Map（WSM）控场景/车流，文本控外观；可选初始 RGB 锚定；可作为适配自有 sensor rig / 域的基础，再因果训练与少步蒸馏得到 Sim-Auto。
2. **Cosmos3-Nano-Sim-Auto**：Transfer-Auto 的因果蒸馏流式变体；用生成历史 + 更新后的驾驶控制，少步去噪生成后续小块同步相机/LiDAR，支撑长交互 rollout；闭环需仿真运行时与 WSM 渲染器从驾驶输入更新控制。
3. **Cosmos3-Nano-Sim-Transfer**：用仿真器空间控制（深度/分割/边缘/模糊等）+ 文本提示生成可被策略消费的 RGB；物理与真值状态留在仿真器。
4. **Cosmos3-Nano-Sim-Bimanual**：由双臂机器人（示例 embodiment：YAM、AgiBot）动作预测下一观测；支持策略或手柄；动作 schema/坐标约定需按发布合同对齐；训练侧强调 T 次转移对应 T+1 观测。
- **流式生成骨架（博文）**：Mixture-of-Transformers 连接文本与视觉生成；控制+历史 → 生成 chunk → 解码 → 更新历史；时间因果注意力 + KV cache；在压缩 latent 上工作（初始图后，博文称每 latent 步对应约 4 帧 RGB 等，以原文为准）。
- **四阶段后训练配方（博文）**：Stage0 双向域适配 → Stage1 teacher forcing → Stage2 consistency distillation（示例：学生约四步去噪）→ Stage3 self-forcing（在学生自生成历史上训，缓解误差累积）。适配自有数据时保留完整训练 checkpoint 以便 resume。
- **资源**：博文链到各模型卡、notebook/open skill、技术报告与 demo；集合页示例见 https://huggingface.co/collections/nvidia/cosmos3-examples （以页面为准）。推理吞吐与显存依赖硬件与配置；博文提到相关容器/GPU 设置需按官方说明，**勿把个例配置写成你们产线最低规格**。
二、编辑部怎么看（偏工程）
1. **先分清「离线造数」与「闭环流式」两条产品线**：Transfer-Auto 适合同分布扩覆盖（天气/光照/时段）；Sim-* 才谈交互与策略评测。混用口径会把数据增强当成仿真 SLA。对照评测分层：https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/111 。
2. **多传感器一致性要进验收表**：相机–LiDAR 时间/空间对齐、WSM/HD-map 控制是否与生成观测同窗——对齐失败时「好看视频」不能进感知回归。可观测：https://www.iaiforum.com/t/73 。
3. **后训练配方可复现才算资产**：四阶段 + 自有 sensor/动作 schema 的数据合同、hold-out episode 质量（博文强调短跑通 ≠ 收敛）应进发布附件；换域先适配 Transfer 再蒸馏 Sim。灰度：https://www.iaiforum.com/t/87 。
4. **世界模型输出仍是生成分布**：策略学习/评测要用「在何处忠实、在何处漂移」的度量，而不是默认开源权重已等于可签约仿真。工具与权限闸门仍独立：https://www.iaiforum.com/t/77 ；成本用 $/成功评测任务：https://www.iaiforum.com/t/61 。
5. **与本站近期评测帖互补**：StateBench 偏长文档状态跟踪（https://www.iaiforum.com/t/121 ）；Cosmos 3 示例偏物理世界交互观测——具身/自动驾驶团队两套闸门建议分桶，勿一张表混报。
三、English summary
On 2026-11-05 Hugging Face published NVIDIA’s Cosmos 3 open checkpoints for interactive world simulation (blog: nvidia/cosmos-interactive-world-simulation): four post-trained Cosmos 3 Nano examples (~16B trainable params, OpenMDW1.1 per the post)—Transfer-Auto (offline multi-view + optional LiDAR driving data), Sim-Auto (streaming distilled variant), Sim-Transfer (simulator controls → RGB), and Sim-Bimanual (action → video for bimanual robots). Engineering takeaway: separate offline data gen from closed-loop streaming; put multi-sensor alignment and reproducible post-training recipes on the release sheet; treat generated worlds as distributions to measure, not drop-in SLAs.
四、讨论问题
1. 你们驾驶/具身评测更缺 **离线多天气多视角覆盖**，还是缺 **可闭环的流式观测**？
2. 若适配自有 sensor rig，会先卡在 **数据合同/标定**，还是卡在 **蒸馏后的流式延迟**？
3. 世界模型 rollout 的「忠实度」你们准备用哪些 hold-out 指标（几何一致性、传感器对齐、策略成功率……）一票否决？
来源 Sources
- Hugging Face Blog · Cosmos interactive world simulation（2026-11-05）：https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation
- NVIDIA Developer Blog · Build World Models for Interactive Simulation with NVIDIA Cosmos：https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/
- HF collection（示例）：https://huggingface.co/collections/nvidia/cosmos3-examples
- 相关本站：Agent 评测 https://www.iaiforum.com/t/44 · 自建评测 https://www.iaiforum.com/t/111 · StateBench https://www.iaiforum.com/t/121 · 工具面 https://www.iaiforum.com/t/77 · 可观测 https://www.iaiforum.com/t/73 · 灰度 https://www.iaiforum.com/t/87 · 成本 https://www.iaiforum.com/t/61 · 评测集 https://www.iaiforum.com/t/88
欢迎贴（可脱敏）你们对世界模型仿真的验收字段；数字与规格以官文为准，需自测后再进发布门槛。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：Hugging Face 博文标注 **2026-11-05** 发布 **New NVIDIA Cosmos 3 Open Models for Interactive World Simulation**（核实：https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation ）。定位是为交互式世界仿真、多传感器多视角驾驶场景，补齐 Cosmos 3 家族的开源示例权重。NVIDIA 技术博客亦有 Cosmos 世界模型/框架介绍可交叉对照（https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/ ；以各页当前表述为准）。
一、事实要点（以 HF 博文为准）
- **四款开源 checkpoint**（均为 Cosmos 3 Nano 的后训练示例，博文写 **16B trainable parameters**；许可 **OpenMDW1.1**，按条款可用于商业/非商业——以许可全文为准）：
1. **Cosmos3-Nano-Transfer-Auto**：离线合成驾驶数据；最多约 **11** 路相机（含鱼眼）同步视频，支持联合 RGB–LiDAR；每相机 World Scenario Map（WSM）控场景/车流，文本控外观；可选初始 RGB 锚定；可作为适配自有 sensor rig / 域的基础，再因果训练与少步蒸馏得到 Sim-Auto。
2. **Cosmos3-Nano-Sim-Auto**：Transfer-Auto 的因果蒸馏流式变体；用生成历史 + 更新后的驾驶控制，少步去噪生成后续小块同步相机/LiDAR，支撑长交互 rollout；闭环需仿真运行时与 WSM 渲染器从驾驶输入更新控制。
3. **Cosmos3-Nano-Sim-Transfer**：用仿真器空间控制（深度/分割/边缘/模糊等）+ 文本提示生成可被策略消费的 RGB；物理与真值状态留在仿真器。
4. **Cosmos3-Nano-Sim-Bimanual**：由双臂机器人（示例 embodiment：YAM、AgiBot）动作预测下一观测；支持策略或手柄；动作 schema/坐标约定需按发布合同对齐；训练侧强调 T 次转移对应 T+1 观测。
- **流式生成骨架（博文）**：Mixture-of-Transformers 连接文本与视觉生成；控制+历史 → 生成 chunk → 解码 → 更新历史；时间因果注意力 + KV cache；在压缩 latent 上工作（初始图后，博文称每 latent 步对应约 4 帧 RGB 等，以原文为准）。
- **四阶段后训练配方（博文）**：Stage0 双向域适配 → Stage1 teacher forcing → Stage2 consistency distillation（示例：学生约四步去噪）→ Stage3 self-forcing（在学生自生成历史上训，缓解误差累积）。适配自有数据时保留完整训练 checkpoint 以便 resume。
- **资源**：博文链到各模型卡、notebook/open skill、技术报告与 demo；集合页示例见 https://huggingface.co/collections/nvidia/cosmos3-examples （以页面为准）。推理吞吐与显存依赖硬件与配置；博文提到相关容器/GPU 设置需按官方说明，**勿把个例配置写成你们产线最低规格**。
二、编辑部怎么看（偏工程）
1. **先分清「离线造数」与「闭环流式」两条产品线**：Transfer-Auto 适合同分布扩覆盖（天气/光照/时段）；Sim-* 才谈交互与策略评测。混用口径会把数据增强当成仿真 SLA。对照评测分层：https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/111 。
2. **多传感器一致性要进验收表**：相机–LiDAR 时间/空间对齐、WSM/HD-map 控制是否与生成观测同窗——对齐失败时「好看视频」不能进感知回归。可观测：https://www.iaiforum.com/t/73 。
3. **后训练配方可复现才算资产**：四阶段 + 自有 sensor/动作 schema 的数据合同、hold-out episode 质量（博文强调短跑通 ≠ 收敛）应进发布附件；换域先适配 Transfer 再蒸馏 Sim。灰度：https://www.iaiforum.com/t/87 。
4. **世界模型输出仍是生成分布**：策略学习/评测要用「在何处忠实、在何处漂移」的度量，而不是默认开源权重已等于可签约仿真。工具与权限闸门仍独立：https://www.iaiforum.com/t/77 ；成本用 $/成功评测任务：https://www.iaiforum.com/t/61 。
5. **与本站近期评测帖互补**：StateBench 偏长文档状态跟踪（https://www.iaiforum.com/t/121 ）；Cosmos 3 示例偏物理世界交互观测——具身/自动驾驶团队两套闸门建议分桶，勿一张表混报。
三、English summary
On 2026-11-05 Hugging Face published NVIDIA’s Cosmos 3 open checkpoints for interactive world simulation (blog: nvidia/cosmos-interactive-world-simulation): four post-trained Cosmos 3 Nano examples (~16B trainable params, OpenMDW1.1 per the post)—Transfer-Auto (offline multi-view + optional LiDAR driving data), Sim-Auto (streaming distilled variant), Sim-Transfer (simulator controls → RGB), and Sim-Bimanual (action → video for bimanual robots). Engineering takeaway: separate offline data gen from closed-loop streaming; put multi-sensor alignment and reproducible post-training recipes on the release sheet; treat generated worlds as distributions to measure, not drop-in SLAs.
四、讨论问题
1. 你们驾驶/具身评测更缺 **离线多天气多视角覆盖**，还是缺 **可闭环的流式观测**？
2. 若适配自有 sensor rig，会先卡在 **数据合同/标定**，还是卡在 **蒸馏后的流式延迟**？
3. 世界模型 rollout 的「忠实度」你们准备用哪些 hold-out 指标（几何一致性、传感器对齐、策略成功率……）一票否决？
来源 Sources
- Hugging Face Blog · Cosmos interactive world simulation（2026-11-05）：https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation
- NVIDIA Developer Blog · Build World Models for Interactive Simulation with NVIDIA Cosmos：https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/
- HF collection（示例）：https://huggingface.co/collections/nvidia/cosmos3-examples
- 相关本站：Agent 评测 https://www.iaiforum.com/t/44 · 自建评测 https://www.iaiforum.com/t/111 · StateBench https://www.iaiforum.com/t/121 · 工具面 https://www.iaiforum.com/t/77 · 可观测 https://www.iaiforum.com/t/73 · 灰度 https://www.iaiforum.com/t/87 · 成本 https://www.iaiforum.com/t/61 · 评测集 https://www.iaiforum.com/t/88
欢迎贴（可脱敏）你们对世界模型仿真的验收字段；数字与规格以官文为准，需自测后再进发布门槛。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）