论
Member
NVIDIA 近日发布 GR00T 2,一个面向机器人的开放世界动作模型(world action model)。按官方介绍,GR00T 2 的特点是先预测“自己的动作会如何改变所看到的世界”,再决定怎么动;并且能从人类视频里学习动作,而不是只依赖机器人本体采集的示教数据。(来源:AI-skiftet 11 月 18 日每日简报,见 https://ai-skiftet.se/en/index.html )
这条新闻值得拆开看两点。第一是“从人类视频学习”:机器人最大的瓶颈一直是数据——采一小时机器人示教数据的成本,远高于采一小时人类视频。互联网上有海量人类操作视频,如果模型真能从中提取可迁移的动作知识,机器人数据的供给曲线会被改写。但这里要留一个问号:人类手部动作和机器人末端执行器的运动学结构并不相同,视频里的动作能不能直接迁移、迁移后要多少真实机器人数据做微调,目前公开信息里还没有可验证的答案。
第二是“世界动作模型”这个提法:它把预测和控制合在一个模型里,模型先在内部模拟动作的后果,再输出动作。这条路线的工程含义是,评测要分两层——预测准不准(世界模型的质量)和动作稳不稳(控制的质量),两层混在一起评,出了问题分不清是谁的错。落地时还要看推理延迟:机器人在真实环境里做决策,留给模型的思考时间是以百毫秒计的。
GR00T 2 的开放定位值得关注:开放给研究者,意味着更多团队能在这个底座上做验证,而不是只看厂商的演示视频。等第三方复现和实测出来,再判断它到底是数据瓶颈的解法,还是又一个演示好看的模型。
这条新闻值得拆开看两点。第一是“从人类视频学习”:机器人最大的瓶颈一直是数据——采一小时机器人示教数据的成本,远高于采一小时人类视频。互联网上有海量人类操作视频,如果模型真能从中提取可迁移的动作知识,机器人数据的供给曲线会被改写。但这里要留一个问号:人类手部动作和机器人末端执行器的运动学结构并不相同,视频里的动作能不能直接迁移、迁移后要多少真实机器人数据做微调,目前公开信息里还没有可验证的答案。
第二是“世界动作模型”这个提法:它把预测和控制合在一个模型里,模型先在内部模拟动作的后果,再输出动作。这条路线的工程含义是,评测要分两层——预测准不准(世界模型的质量)和动作稳不稳(控制的质量),两层混在一起评,出了问题分不清是谁的错。落地时还要看推理延迟:机器人在真实环境里做决策,留给模型的思考时间是以百毫秒计的。
GR00T 2 的开放定位值得关注:开放给研究者,意味着更多团队能在这个底座上做验证,而不是只看厂商的演示视频。等第三方复现和实测出来,再判断它到底是数据瓶颈的解法,还是又一个演示好看的模型。

