视触觉实时补偿机制:GelSight Mini 应对GPU装配抓取滑移与外力扰动

电子精密装配、小件插接、窄间隙插入等任务,要求机器人同时具备亚毫米定位能力和实时接触补偿能力。传统视觉规划方案难以稳定处理接触突变,端到端策略又常缺少可解释、可调试的高频控制通道。

 

 

CoStream 通过语义、预测、反应三类行为解耦与融合,为接触密集型机器人操作提供了一种更工程化的实现路径。

【图 1:CoStream 整体架构图】

核心硬件依赖

CoStream 的实验验证高度依赖两类硬件能力:

  1. Franka Panda 七轴协作机械臂

Franka Panda 具备全关节力矩传感、高重复定位精度和实时阻抗控制能力,适合精密装配、力控交互和科研验证场景。

  1. GelSight Mini 视触觉传感器

GelSight 能够捕捉接触表面形变、法向信息和细微滑移,为系统提供独立于视觉的高频触觉反馈通道,帮助机器人在抓取和插入过程中实时修正位姿。

二者结合,使系统能够在接触发生时快速响应,而不是只依赖预先规划的运动路径。

 

实验验证价值

论文实验结果显示:

  • 在窄间隙精密装配任务中,无触觉基线方案稳定性较差;
  • 搭载 GelSight 视触觉反馈后,系统对接触变化和工件滑移更敏感;
  • 即使存在人为扰动,系统仍能通过触觉闭环进行姿态校正;
  • 同一套框架可覆盖精密装配、日常抓取等不同任务类型。

【图 2:人为扰动下 GelSight 触觉实时校正效果】

 

信倍通配套方案

针对高校实验室、企业研发中心和具身智能研究团队,信倍通可提供 Franka 机械臂、GelSight 视触觉传感器、深度相机、电动夹爪、机器人工作台等硬件配套,并支持 ROS 集成、多传感器同步、触觉算法适配等技术服务。

通过这套方案,研发团队可以更快搭建 CoStream 同款多模态精密操作实验平台,开展接触控制、视触觉融合和精密装配方向研究。

【图 3:Franka Panda 双机械臂 + GelSight 硬件实验平台】

 

引用论文

项目官网:https://costream-simple.github.io/

论文arXiv:https://arxiv.org/abs/2606.26423

 

 

 

文章详情

 

创建时间:2026-07-23 11:10

信倍通科技(北京)有限公司

 

ICT Tech (Beijing)Co., Ltd