堆10倍数据还输40%--Psi-Zero说混训人形机器人根本就是错的

一句话判断

少量机器人数据下的策略学习

论文解决什么问题

人形机器人策略学习最大的成本不是模型参数,而是真实机器人遥操作数据。主流做法把人类视频和机器人数据端到端混训成一个整体策略,看起来是在扩大数据量,实际是在让模型同时拟合两种动作分布。

人类视频的动作频率、运动动力学、自由度,和机器人关节空间数据并不一致。Ψ0的判断很直接:这种 co-training 是结构性次优,硬混只会把视觉表征学习和动作动力学学习互相搅在一起。

核心方法

Ψ0把训练目标拆成三段:
· 第一阶段:在约829小时 EgoDex 人类第一视角视频上预训练 Qwen3-VL-2B-Instruct,只预测单步动作 token,重点学习视觉表征和任务语义
· 第二阶段:冻结 VLM,在约300万帧/30小时真实人形机器人数据上单独训练 MM-DiT 流匹配动作专家
· 第三阶段:每个下游长程任务只用80条遥操作演示,微调动作专家4万步

它还把测试时不稳定的 RTC 改成训练时 RTC:训练阶段随机遮住前1-6个动作 token,让模型学会以前序干净动作续接后续动作块。推理时未执行动作可作为干净 token 继续条件化,减少"停顿-思考-执行"带来的抖动。

实验结果

最醒目的结果是数据效率:Ψ0只用约800小时人类视频和30小时机器人数据,在8个真实长程精操纵任务上整体成功率比第二名 GR00T N1.6 高出40%以上,而其他基线用了10倍以上数据量。

消融也支持三段解耦的必要性。直接冻结 Qwen3-VL 微调动作头,整体成功率只有0.2;加入 EgoDex 预训练后明显提升;再加真实机器人后训练和训练时 RTC,贡献继续叠加。

这说明预训练的价值不在于动作本身预测得多准,而在于先把视觉-任务对齐学出来。动作动力学留给后面的机器人数据和动作专家单独学习。

这篇论文不是什么

这不是"机器人数据不重要"。Ψ0仍然需要高质量真实机器人数据来后训练动作专家,也需要每个下游任务的少量演示来适配。

它也不是证明所有机器人任务都能靠少量数据解决。实验集中在人形机器人的长程精操纵和移动操作,硬件、遥操作框架、VLM规模和训练算力都参与了结果。开放模型和训练管线的承诺也需要以后续释放为准。

对机器人 / 世界模型 / VLA 的启发

Ψ0真正有价值的地方,不是又做了一个人形机器人基础模型,而是把"少量机器人数据为什么能有效"讲清楚了:先用人类视频学视觉表征和任务语义,再用机器人数据学动作动力学,不要把两种分布强行揉成一个端到端目标。

这会影响后面的 VLA 工程取舍。数据规模当然重要,但更重要的是数据在训练目标里的位置:人类视频适合塑造表征,机器人数据适合校准动作,把二者职责拆开,少量真实数据才可能被放大。

论文关键页