TactAlign 论文实测数据:Uskin+Allegro Hand触觉对齐方案平均任务成功率 79%
近日,密歇根大学、微软研究院、NVIDIA 等机构联合发布 TactAlign 跨本体触觉迁移论文(arXiv:2602.13579),提出基于整流流与手物交互伪配对的无标注触觉对齐方案,依托 Manus 动捕手套、OSMO 触觉采集设备、Franka Emika Panda 七轴力控机械臂、Allegro Hand 四指灵巧手、Xela Uskin 触觉传感器组成完整实验链路,完成多类接触型操作任务验证,为高校、科研机构提供轻量化人机示教落地新思路。

当前机器人灵巧学习普遍存在三大行业痛点:人机触觉传感器底层机理、分辨率差异大,无法直接互通;人手与灵巧手自由度不匹配;同步配对人机示教数据采集成本极高,动态滑动、遮挡场景难以落地。TactAlign 采用两阶段训练架构,先通过自监督学习分别训练人机触觉编码器,再利用手物运动特征生成带噪声伪配对,借助整流流完成触觉隐空间映射,全程无需人工同步标注。

整套标准化科研硬件分工清晰:示教端采用 Manus 动捕手套搭配 OSMO 柔性磁触觉皮肤,完整保留人手 23 自由度,遮挡环境下仍可稳定输出指尖姿态;执行端搭载 Franka 力控协作机械臂,内置柔顺力矩控制;末端 Allegro Hand 16 自由度四指灵巧手搭配 Xela Uskin 高分辨率离散触觉传感器,与人手传感硬件形成天然异构对照,适配跨传感器对齐实验。

多组消融对照实验数据显示,搭载完整 TactAlign 方案后,旋转、插头插入、瓶盖闭合三类任务平均操作成功率达 79%,相较仅使用机器人数据提升 41 个百分点;仅投入 5 分钟人类示教数据,机器人即可泛化至从未接触的物体。在高难度灯泡旋拧零样本测试中,仅依靠 Manus 采集的人类演示,Franka+Allegro 设备即可完整完成操作,两组无对齐基线方案均无法稳定抓取。额外跨传感器力预测实验证明,经 TactAlign 对齐后,三轴接触力预测误差平均降低 96% 以上,映射过程完整保留物理受力信息。


该套 Manus、Franka、Allegro、Xela 硬件组合可直接复现论文全部实验,降低触觉感知、模仿学习方向的科研搭建成本。信倍通可提供整套设备选型、配套调试技术支持,助力实验室快速搭建跨具身灵巧操作研究平台。
论文查阅:https://arxiv.org/abs/2602.13579
项目演示主页:https://yswi.github.io/tactalign/
