全部论文
推理时不用想象未来,机器人照样跑到91.8%!Fast-WAM拆穿了WAM的核心假设

推理时不用想象未来,机器人照样跑到91.8%!Fast-WAM拆穿了WAM的核心假设

一句话判断

训练视频目标,比测试时想象未来更关键

论文解决什么问题

WAM(世界动作模型)的主流设计背后有个默认假设:让机器人在执行前先“想象”未来画面,再据此决策。整个行业都在顺着这个思路卷。Fast-WAM做了一件少见的事:用受控实验拆穿这个假设。

核心方法

实验设计很干净,四个变体只改一个因素:
· Fast-WAM:训练时保留视频协同目标,推理时完全不生成未来帧,单次前向出动作
· Fast-WAM-Joint:训练和推理都联合去噪视频与动作
· Fast-WAM-IDM:先生成未来视频,再预测动作
· 无视频co-training:去掉视频训练目标,其余保持不变

换句话说,它不是问“世界模型有没有用”,而是把训练时的视频建模和推理时的未来想象拆开,单独看哪个才是真正贡献。

实验结果

RoboTwin结果:91.8% vs 90.6% / 91.3% vs 83.8%。
LIBERO结果:97.6% vs 98.5% / 98.0% vs 93.5%。

↳ 推理时想不想象未来,差距微乎其微;但移除训练时的视频目标,掉幅是前者的数倍。

真实世界证据更直白。Galaxea R1 Lite上的毛巾折叠任务里,移除视频co-training的变体成功率只有10%,完成时间也最长;三个保留视频co-training的变体之间差异有限。训练时不学习视频预测,才是真正的致命伤。

不想象未来还有额外红利:Fast-WAM推理延迟190ms,而先生成视频再决策的Fast-WAM-IDM需要810ms。4倍以上的速度差,足够支撑实时控制。

这篇论文不是什么

这不是“推理时未来想象永远没用”的结论。Fast-WAM为控制变量省略了外层自回归rollout循环,聚焦单动作块生成;当前实验平台也主要是LIBERO、RoboTwin 2.0和一个真实毛巾折叠任务。大规模具身预训练数据和更大模型加进来后,这个结论是否仍成立,还没有答案。

对机器人 / 世界模型 / VLA 的启发

Fast-WAM把问题从“机器人要不要先想象未来画面”推进到“视频预测目标到底在什么时候发挥价值”。它给出的答案很实用:真正重要的可能不是推理时生成未来帧,而是训练时用视频目标塑造世界表征。对工程系统来说,这意味着可以保留世界建模带来的表征收益,同时删掉昂贵的测试时视频生成,把延迟和部署复杂度降下来。

论文关键页

paper page
key figure

原论文入口

  • arXiv暂无公开链接
  • PDF暂无公开链接
  • Project Page
  • GitHub暂无公开链接

机器可读摘要

相关方向

暂无站内关系。

返回全部论文