Tactile Genesis开源触觉仿真框架,打通GelSight灵巧操作虚实研发链路

一、行业研发痛点:触觉实验落地成本高、横向对比难

 

当前具身智能、柔性抓取研发中,科研团队常搭配GelSight Mini 视觉触觉传感器、多型号灵巧手开展真机测试,但灵巧手等硬件标定周期长,难以同步完成多传感方案对照;传统触觉模拟器并行算力有限,仿真与真机存在明显 Sim2Real 域差,制约强化学习大规模训练落地。

近日卡内基梅隆大学联合 Genesis AI 推出 Tactile Genesis 仿真工具,深度适配 Genesis World 多物理引擎,提供标准化可配置触觉仿真底座,降低多模态触觉算法、仿生电子皮肤研发迭代成本。

Tactile Genesis全功能总览图

 

二、七大触觉仿真模态,高度还原实体传感物理特征

 

框架统一封装 7 类主流触觉信号,完整复现市面硬件运行特性,其中ElastomerTaxel模块可精准复刻GelSight Mini硅胶挤压、剪切形变效果,对标 FOTS、HydroShear 仿真方案后形变误差更低。平台业内原生支持体素温度场、接触音频双模态感知,同时内置漂移、死点、通道串扰等真实硬件噪声模型。

GelSight形变仿真对比图

算力层面,单 RTX A6000 显卡可承载上万并行仿真环境,据论文 Figure4 基准测试,相较传统仿真工具算力效率提升 3~20 倍,显存占用明显下降。仿真模块支持自由挂载于Allegro Hand、XHand1、Inspire Hand、Shadow Hand、Franka 机械臂UR机械臂等任意曲面,触觉像素(Taxel)可自定义排布与分辨率,快速复现各类灵巧手硬件布局。

 

三、消融实验输出参考结论,为触觉硬件设计提供依据

 

团队依托手内旋转、物体重定位、螺丝刀旋拧三组任务开展消融测试,输出多项具备参考价值的研发方向:

  1. 触觉传感覆盖范围的影响高于像素分辨率,仅指尖传感方案表现存在局限,在通用抓取场景下全手(指尖 + 指节 + 掌心)布局提升显著;整机均匀布置约 200 个触觉像素即可满足多数灵巧操作需求,超高分辨率硬件增益有限。
  1. 逐像素六维力 / 力矩传感在连续滑移类任务适配性更强;GelSight Mini视触觉传感器 更适合物体纹理、轮廓识别细分场景,二者各有适用场景。
  1. 仅依靠关节本体感知无法支撑精细抓取,触觉是手内操作不可或缺的感知输入;现有商用温度传感器灵敏度暂不足以仅依靠热信号区分同质物体。
多传感器消融实验曲线图

团队完成星动纪元XHand1真机仿真迁移验证,仿真聚合触觉信号与真机实测成功率匹配度良好;需说明本次验证仅针对手指聚合压力信号,暂未实现高精度视觉触觉全模态迁移。

 

四、开源生态降低国内机器人研发门槛

 

整套触觉仿真模块集成开源 Genesis World 工程,配套消融实验脚本同步开放,适配 PyTorch 强化学习开发管线,面向人形机器人、工业柔性抓取、多模态感知科研团队提供低成本仿真方案,助力国内具身智能技术快速迭代。

 

参考论文

论文主页:https://neuroagents-lab.github.io/tactile-genesis/

论文链接:https://arxiv.org/abs/2606.22332

文章详情

 

创建时间:2026-07-31 19:21

信倍通科技(北京)有限公司

 

ICT Tech (Beijing)Co., Ltd