全部论文
DexTouch-WM:人类触觉预训练

DexTouch-WM:人类触觉预训练

一句话判断

DexTouch-WM:人类触觉预训练

论文解决什么问题

DexTouch-WM固定5小时机器人数据,增加100小时人类触觉交互,让机器人世界模型更准确地预测动作后的画面与接触变化。它学习的是动作条件动力学,不直接输出控制动作。

核心方法

UniTacHand已经用MANO UV Map统一人机触觉表示,并用人类数据配合少量机器人示范改善操作。DexTouch-WM沿着人机触觉迁移这条路,把问题推进到:这些经验能否训练一个预测未来接触的世界模型?两者在目标上形成衔接,具体表示和架构不同。

实验结果

人类经验能迁移,但要分清测到了什么
人类与机器人预训练任务不重合,增加人类数据后,机器人域接触IoU从0.42升至0.59、F1从0.55升至0.71。
下游用100条人类+100条机器人示范替代200条机器人示范适配世界模型,与真机策略得分的平均相关性从0.646升至0.844;这是评估一致性,不是操作成功率。

这篇论文不是什么

⚠️ 另一条边界:会预测、会评估,不等于会造训练数据
VLAW通过闭环生成、筛选成功轨迹改善策略;本文沿用记录动作生成未来观测,替换一半真实训练数据后,π0.5真机平均任务得分反而从0.625降至0.494。协议不同,不能直接排名,但结论明确:人类触觉可改善世界预测,合成数据能否改善控制仍须单独验收。

对机器人 / 世界模型 / VLA 的启发

💡 与其他路线的联系和分歧
· Dyna-2也报告增加人类视频有利于跨具身迁移;DexTouch-WM补充了触觉方向的证据,但依赖专用手套、动作跟踪与对齐,不能等同于普通视频扩量。
· Video2Robo从物体相对运动提取技能、绕开人手重定向;DexTouch-WM显式对齐手部动作与接触。两者代表不同的信息取舍,任务不同,尚不能互相证伪。

论文关键页

paper page
key figure

原论文入口

AI 摘要

相关方向

返回全部论文