跨本体策略自改进新范式:stretch 3移动操作机器人与franka力控机械臂的复现路径与硬件配置
ETH Zürich、TUM、Microsoft 与 MCML 联合发布论文《Robot Self-Improvement via Human-Video Dynamics Models》(arXiv:2606.21406),提出 Dynamics-Guided Action Correction(DGAC,动力学引导动作修正):机器人先从人类视频习得先验,再在自身真实失败中持续改进,无需在线人工干预。七项真实操作任务平均成功率从约40%提升至81%,助力具身智能策略改进。
方法上,论文把人类视频作为第一类监督来源:基于 HOI4D、Arti4D、EgoDex 人类交互视频,联合预训练策略、动力学、价值三个具身无关(embodiment-agnostic)表征,视觉采用 DINO-v3 token 与 TAPIP3D 点轨迹,动作编码为6-DoF位姿与夹爪闭合。部署后,DGAC 在失败状态采样候选动作,动力学模型预测未来、价值模型排序,得分最高的修正动作进入修复集,经优势条件策略更新完成自改进,整体免训练。

图1 论文方法总览:人类视频预训练三模型 + 迭代式机器人自改进闭环(来源:论文项目页)
实验在两类本体上展开:移动操作平台采用 Hello Robot Stretch 3(stretch 3开源操作机器人、stretch 3移动操作机器人),静态臂采用 Franka Panda。stretch 3机器人五项任务平均成功率,Ours 达到85.3%,对比 Expert BC 的41.3%;在 π0.5 策略骨干上,SFT 基线62.7%,叠加 DGAC 后达到88.0%。静态臂 Box 任务46.7%→73.3%,Sweep 任务26.7%→66.7%,平均36.7%→70.0%,验证了方法跨本体迁移能力。

图2 静态力控选型 Franka Research 3(FR3)七轴力控机械臂
对科研院校与企业自动化团队,这类课题对移动底盘可达性、多目深度感知、开源软件栈与力控反馈提出明确要求。欣佰特提供 Hello Robot移动操作机器人 选型:覆盖 stretch 3 与新一代 stretch 4移动操作机器人、stretch 4开源操作机器人;静态力控配套 franka机械臂(franka力控机械臂 / fr3机器人 / franka机器人fr3,即 FR3),支持 franka七自由度机械臂 的 franka科研 与 franka教育机器人 建设。
平台面向 遥操作 示教、数据采集 与自改进验证:Hello Robot具身智能平台、Hello Robot家庭服务机器人 强调地面到柜体可达与人机共存;7dof开源移动操作机器人 开放栈便于接入 ROS 2 策略与动力学实验。
应用场景
· 移动操作科研:家庭/实验室环境导航、抓取、开盖、擦拭、投递等长程操作的算法验证。
· 自改进与失败恢复:记录成功/失败 rollout,复现 DGAC 式失败转监督的策略更新闭环。
· 力控接触操作:静态臂柔顺控制、装配与接触丰富任务的 1kHz 力矩研究。
痛点与解决方案
· 痛点:缺少可移动、可达范围足够、开源易二次开发的移动操作底座。方案:Stretch 3 / Stretch 4 开放 ROS 2 与 Python SDK,自带标定与参考 Demo。
· 痛点:静态臂缺关节力矩反馈,难做柔顺与力控研究。方案:FR3 七关节集成力矩传感器,支持 1kHz 力/位控制。
表-产品应用场景与解决痛点汇总表
|
产品 |
典型应用场景 |
解决的痛点问题 |
|
Stretch 3 |
家庭/实验室导航抓取、开盖擦拭、投递等长程移动操作;失败记录与自改进复现 |
缺可移动、可达桌面到地面, 开源易二次开发的移动操作底座 |
|
Stretch 4 |
长时自主导航与部署、3D SLAM、VLM抓取、家庭服务机器人课题 |
续航短、需频繁人工接管, 环境感知覆盖不足 |
|
FR3 franka力控机械臂 |
柔顺装配、接触丰富操作、低层力/位控制、课程实验 |
静态臂缺关节力矩反馈, 难做柔顺与力控研究 |
|
通用: 遥操作/数据采集 |
双视角图像与动作轨迹采集、LeRobot类数据集构建、策略训练 |
自研采集平台周期长, 感知未标定、接口不统一 |
