RUMI 论文推出 Robotiq 2F-85 匹配手持接口:AR 数字影子与力反馈支撑具身智能力觉示教采集

图 Robotiq FT300-S 腕部力矩传感器与夹爪组合

(一)力觉示教数据为何稀缺

装配、擦拭、拧紧、分拣等接触丰富任务需要精确可控的接触力,但大规模力觉示教数据集仍然稀缺。手持 UMI 可脱离机器人采集演示,却多围绕平行线性夹爪设计,与工业自适应夹爪的非线性力学不匹配,也缺少接触瞬间的力测量。

(二)复刻 2F-85 非线性运动学

11 月 11 日上传 arXiv 的论文《RUMI: A Robotiq-Matched Universal Manipulation Interface for Robot Learning with Augmented Reality and Haptic Feedback》(arXiv:2611.15802)给出对应思路:RUMI 是一款与 Robotiq 2F-85 匹配的手持接口,连杆几何与指尖安装接口取自 2F-85 官方 CAD,保留目标夹爪的运动学、指尖可换性与腕部相机视角。

拇指与食指驱动后部剪式输入垫,AS5600 磁编码器测量开合度,食指侧 CoinFT 六轴力/力矩传感器以 200 Hz 采集施加力;指尖可在 CoinFT 力/力矩、标准件与 DIGIT 视触觉指尖间更换,同一指尖模块可在手持设备与真机夹爪间互换。

图 RUMI 硬件组成与三种接触模式

(三)AR 影子在线校验可行性

无机器人示教时,操作者无法直接判断轨迹是否落在目标臂工作空间与关节限位内。RUMI 将手持姿态跟踪接入 VR 头显,在 IRIS 应用中基于 MuJoCo 渲染目标臂数字影子;轨迹经 QR 码与深度平面配准映射到机器人基坐标系,逆运动学实时求解构型,采集前可通过 catch-to-teleop 流程对准投影末端,建立一致的初始位姿。

(四)阻挡器实现接触力反馈

遥操作与仿真中,接触前阻挡器保持脱开,编码器直接控制夹爪开合;远程夹爪检测到接触后,微型舵机驱动齿轮锁止连杆,后续捏合力由 CoinFT 测量并映射为夹持力指令,支持可选力放大系数,Quest 控制器提供振动提示。Teensy 4.0 负责编码器与力传感器同步、USB 上传与舵机控制,腕部 RealSense D405 视角与真机一致。

(五)真机四任务验证触觉增益

研究在 Franka FR3 搭载 Robotiq 2F-85 与 D405 的真机环境完成白板擦拭、齿轮插入、拧螺丝、装箱分拣,每任务约 100 条演示。CoinFT 用于齿轮与白板,DIGIT 用于拧螺丝与纹理分拣,分别训练力调整阻抗轨迹与 ACT 触觉策略。20 次评测:齿轮 20/20(无触觉 7/20);白板 16/20(7/20);拧螺丝 9/20(3/20);分拣 17/20(9/20),指尖模态与成功率相关。

图 真机装箱分拣任务

(六)仿真区分易碎与重载抓力

仿真装箱中易碎灯泡与重载变压器策略相反。加入接触反馈后演示夹持力 5.66 N 与 22.82 N,rollout 为 5.42 N 与 19.86 N,成功率 94% 与 97%;关闭反馈后灯泡升至 18.46 N,全部超 10 N 阈值、成功率 0%,重载件 15.83 N、13.67 N、99%。

(七)Robotiq 工具链与选型对照

真机底座即 robotiq二指夹爪 体系下的 二指电爪 2F-85。选型搭配:二指电爪2F-140 适配宽体大件;二指电爪Hand-E 适合精密装配;Robotiq FT300-S力矩传感器 提供六维力/力矩反馈、IP65 防护,配合 Force Copilot 完成力控插入与装配,可与 手腕相机、夹爪无缝集成;吸附场景搭配 Epick吸盘、AirPick吸盘。局限为仅腕部单视角、暂无外部力反馈。

  • 应用场景

力觉示教数据集采集、人机遥操作、接触丰富装配与插入、易碎件抓取、科研院校具身智能实验室搭建,以及工业自动化末端工具选型。

  • 解决痛点问题与方案

解决力觉示教数据稀缺、手持接口与真机夹爪力学不匹配、无机器人时轨迹不可行、夹持力不可控易损件损坏、触觉模态缺失与末端工具集成复杂等问题。

信倍通作为中国区授权代理,提供相关产品选型咨询及技术支持服务。

 

文章详情

 

创建时间:2026-11-19 10:00

信倍通科技(北京)有限公司

 

ICT Tech (Beijing)Co., Ltd

넳 넲