全部论文
不教步骤,装配技能如何从奖励中涌现?

不教步骤,装配技能如何从奖励中涌现?

一句话判断

不教步骤,装配技能如何从奖励中涌现?

论文解决什么问题

随机初态下,M4螺母、4mm插销和杆件插入的独立策略成功率不超过0.3%,主要卡在抓取。AlphaNIST把20类装配交给共享策略训练,却出现了成功抓取并装配的轨迹。

这体现了跨任务正迁移:不同任务的经验,可能帮助策略突破单任务探索的瓶颈。但具体技能如何迁移,尚未被逐项隔离验证。

核心方法

一个共享PPO策略,根据零件与配合几何的表面点云、机器人状态和上一动作,输出关节目标与夹爪指令。

没有专家示范、预设动作原语或逐任务调参。完成装配才给任务成功奖励,中间不奖励靠近、对齐;每步仍保留动作、速度和力矩代价。

不同几何共享完整装配目标,让策略有空间寻找各自有效的操作方法。

实验结果

↳ 放下零件重新抓,露出更多插入端。
↳ 借板面接触调整零件朝向。
↳ 先暂存USB-A,完成杆件后再返回插接。

这些技巧没有被专项奖励逐项指定。连续装配也没有显式规划器规定顺序;10对全部完成,才获得一次任务成功奖励。

这篇论文不是什么

⚠️ 无示范,不等于没有探索支撑
缓存初态覆盖散放、在手、搬运和部分装配;成功引导采样优先练习中等难度条目。保持二元目标,改用均匀采样,评测从97.4%降至84.3%。

全部结果来自仿真,98.2%不能当工业可靠率;覆盖20类任务,也不等于一次完成整块20件装配板。

对机器人 / 世界模型 / VLA 的启发

💡 多样性如何转化为能力?
本篇支持的是:共享目标、任务多样性、初态覆盖和经验分配共同作用,能让部分单练难例变得可解。

这还不是“任务越多越聪明”的scaling law。更值得检验的是:扩大任务集合后,正迁移能否持续,以及这些重抓、接触调整和协调行为能否迁移到真机。

论文关键页

paper page
key figure

原论文入口

AI 摘要

相关方向

返回全部论文