
WAM综述:预测如何服务控制
一句话判断
WAM综述:预测如何服务控制
论文解决什么问题
WAM把未来世界预测与可执行动作生成连接起来。但预测什么、动作怎么接、数据怎么用、最终怎么评估,是几层不同的选择。这篇综述的价值,是把这些设计放进同一套框架,帮助工程师判断方法能否复用。
核心方法
↳ ① 建模:联合预测,同时生成未来状态和动作;逆动力学,先预测未来状态,再从状态变化推断动作。综述没有判定哪条路线普遍更好。
↳ ② 架构:共享主干强调统一表示与联合训练;双系统把世界模块和动作模块分开,通过中间接口连接,便于分别适配,但接口设计更复杂。建模路线与模块怎么组织,需要分别比较。
↳ ③ 数据:互联网和人类视频主要提供视觉动态、运动与交互先验;机器人轨迹提供观测、动作和结果的对应关系。规模更大的视频数据,仍需经过动作对齐才能接到控制上。冻结参数、对齐层或残差动作头,都是保留先验的适配方式。
实验结果
世界模型追求预测准确,策略追求更高回报,两个目标并不天然一致。作者提醒,联合优化可能产生过度乐观、被策略利用的未来预测。分开训练世界模型与策略是一条路线,但模型偏差和模块协调问题仍然存在。
这篇论文不是什么
⚠️ 部署时,三种“好”不能画等号
· 画面逼真,不证明动作可执行;轨迹误差低,不保证闭环安全;成功率高,也不能单独解释收益来自预测还是策略先验。
· 二维视频连贯,不保证几何、遮挡和多视角一致,错误会传到规划与动作解码。
· 多步采样、想象轨迹和动作解码都会延迟反馈。采样步数、预测时域、候选轨迹数、重规划频率,必须一起算进控制时延。
对机器人 / 世界模型 / VLA 的启发
💡 和OpenWAM放在一起看
OpenWAM在其评测中发现:没有具身预训练时,单向信息流略占优;加入预训练后,双向互通的优势才显现。这给综述的分类补上一个条件:架构优劣会随预训练条件改变,不能只凭“统一”或“解耦”选边。
半年后回看,值得检验的是:固定数据和算力预算,分开优化世界与策略,能否减少模型偏差引起的真实执行退化。这个结果,才有助于判断分离优化的价值。
论文关键页

