为什么机器人 "摸了等于没摸"？从 GelSight Mini 的 Mark 点位移场，看清视触觉里那一半 "被忽略的触觉"

当机器人学会「搓」：一张凝胶膜把触觉策略零样本搬进现实;把粘弹性算到像素里：SDF + 剪切场，让 GelSight Mini 成为 RL 的「真手指」。把一根销钉塞进紧孔，人几乎不靠看，靠指腹那一点"还粘着 / 已经在滑"。机器人如果只给视触觉一张接触图——仿真里会做，真机上常常不会。HydroShear（arXiv:2603.00446，密歇根 MMint Lab × Amazon AIR）旨在解决的正是这个痛点：GelSight Mini 这块视触觉凝胶上，真正能过 Sim-to-Real 的不是更像的图像，是剪切场有没有被写对。

现象：图像够清楚，手感仍对不上

腿足的策略早已习惯纯仿真训练再零样本上身；手不行，卡在触觉。视触觉这条路线把接触几何写进图像，渲染可以很像 GelSight——但力和切向剪切，却常被简化成"当前穿透 + 当前速度"。

结果是：仿真和真机的 GelSight Mini 看起来都有一块压痕，Mark 点怎么走，却不是同一件事。

第一性原理很短——闭环需要的是接触历史，不是一张快照。凝胶被粘住时表面点跟着走，超过摩擦极限才滑；同一终点，绕路和直走，Mark 点位移可以完全不同。人手的梅克尔细胞偏形状，滑觉小体偏剪切；只用视触觉图像，等于关掉后一半——触觉里那点"润物细无声"的侧向信息，恰恰是判断打滑与否的先兆。

原理：把凝胶当成有记忆的接触介质

HydroShear 自称非完整的流体弹性模型。物理直觉：膨胀场来自法向压入，剪切场来自切向平移和转动，而且依赖压头相对凝胶的位姿历史。

数学上，胶面查询点对应 GelSight Mini 上的 Mark 点，模型把一段 SE(3) 轨迹映射成二维位移矢量：

M_t = M_t^d（膨胀）+ M_t^s（剪切，带历史）

粘-滑转迁本质是迟滞系统——加载与卸载走两条不同曲线，跟铁磁体的磁滞回线一个脾气。只记"当前状态"的模型注定失忆；HydroShear 用递归追踪补上这段记忆，三件事一起做：粘滑转换、路径依赖的力与剪切累积、完整 SE(3)（含翻滚）。

用 SDF 跟踪压头表面点在弹性体内的三维位移——符号距离函数把几何"距离化"，天然适合表达任意水密（watertight）形状并求最近点；HydroShear 让它不再只管"碰没碰"，还管"沿表面怎么走"，把几何追踪和动力学绑在一起。任意几何都能出物理力场，且不绑死底层引擎，便于 GPU 并行。作为对照：FOTS 一类方法强在平面运动，翻滚带来的剪切进不去；罚函数快，但把凝胶当成没有记忆的弹簧，一压就完。

方法：先对齐这块 GelSight Mini，再在仿真里练

标定在桌上完成，KUKA MED LBR 末端装 35 mm 球头，对固定的 GelSight Mini 依次做压、剪、扭、滚，采集真实 Mark 点场，再分别拟合膨胀刚度 λd、剪切刚度 λs、K 与摩擦系数 μ——各自独立成子问题，逐个击破。这里正是 GelSight Mini 不可替代的地方：它膜内的 Mark 点位移是看得见的，剪切场才有可标定的真值。

测试 40 组（胀、剪、扭、滚各 10）：HydroShear 的逐 taxel RMSE 全面低于 TacSL / FOTS，翻滚项余弦相似度 0.904，FOTS 为 0.561。

训练在 Isaac Gym 里用 PPO。Teacher 先看特权状态（接触力、物体位姿），并做成"先无接触惩罚、再加惩罚"的课程——免得策略为了避罚而不敢碰，或者碰得太狠撕坏凝胶。再按 AACD 蒸馏：Student 只看左右视触觉剪切场、末端位姿和相对目标，真机部署不再看外部相机。

结果：四项任务，112 / 120

合计 112/120 = 93%，且是零样本——真机上没有任何微调。只用触觉图像训练的策略合计 41/120 = 34%，其他剪切仿真方法平均在 58%–61%。

四个场景故意不重复：插销考手位姿不确定；码垛考多物体接触；摆书是侧向插入、指尖整块贴死，边缘对位姿几乎失效；拉抽屉考未知扰动下的最小夹紧与抗滑。视触觉图像在接触斑小的时候还过得去，斑一大、一滑，就只剩 6/30、3/30——剪切场补的正是这个断档。

产品：为什么必须是这块 GelSight Mini

GelSight Mini 把视触觉做成可买模块：约 32×28×28 mm、40 g，视场约 18.6×14.3 mm，8MP、25 FPS、RGB 光度立体、朗伯硅胶，USB 单线供电，换凝胶徒手完成，开箱约五分钟出图，ROS / ROS 2 / PyTouch 现成，Panda /

Schunk / KUKA 等开源 CAD 适配器齐全。（参数综合自 GelSight Mini 官方产品手册与开源仓库 FAQ；具体以官方最新规格书为准。）

落到 HydroShear 这个案例，三个优势被放到最大：看得细——0.0634 mm/px 的空间精度让 Mark 点位移场有足够信噪比去标定四个物理参数；长得标准——即插即用 + 完整软件生态，标定采集脚本可以直接写进 Isaac Gym 的数据管线；可复现——开源 CAD 适配器覆盖主流机械臂，别人的实验你几乎能照着复刻。

从生物视角看这几乎是仿生的：人指尖的慢适应 SA 纤维报"压"、快速适应 RA 纤维报"动"，GelSight 的高度图对应前者、Mark 点位移场对应后者，合起来才是完整"手感"。当你需要在不干扰接触的前提下读出法向 + 切向的全场信息，视触觉几乎是唯一选择——力/力矩传感器只能给一个合力，光学触觉给的是全场分布，这正是插拔、摆书、拉抽屉这类"找缝、找位、找滑移"任务上成功率"润物细无声"式提升的根本原因。

论文把局限也写在原文里：假定凝胶近似平面（弯曲指面要另做）、SDF 分辨率与速度对折、目前依赖可穿透接触的物理引擎（Isaac Gym + TacSL 的 Kelvin–Voigt）。

TIPS：推荐最小组合

GelSight Mini（tracking marker gel）+ 任意适配夹爪的机械臂 + Isaac Gym / Isaac Lab + HydroShear 开源代码——先跑通标定采集拿到 λd、λs、K、μ，再仿真训练，最后零样本上真机。这条链路论文已验证一遍，你要做的只是换任务和物体。

视触觉已经能告诉机器人碰到了什么形状；GelSight Mini 上的剪切场，才告诉它这东西还想往哪走。HydroShear 把后半句写进了可以开源复现的仿真——触觉从来不是"感知到了什么"，而是那点几乎不可见的形变，如何悄悄改变下一步动作。