Meta AI携手GelSight Inc 和 Wonik Robotics扩展触摸感知，推进机器人具身智能

通过触摸感知、灵巧性和人机交互方面的进步来推进具身 AI

2024年10月31日， Meta AI宣布与行业领导者 GelSight Inc 和 Wonik Robotics 建立战略合作，开发新一代创新的多模态触觉传感器Digit360和新一代先进的机器人灵巧手Allegro Plexus Hand并将其商业化，利用 Meta Digit Plexus 与触觉传感完全集成，并帮助培育开放的 AI 生态系统。

GelSight Inc和Wonik Robotics将分别生产和销售 Digit360和Allegro Hand（Plexus），2025年即可购买。

理解物理世界并与之交互是完成日常任务的关键能力，对人类来说是自然而然的，但对于当今的 AI 系统来说却是一项艰巨的任务。Meta AI （FAIR） 团队正在努力与机器人社区一起推进具身 AI 代理的创建，这些代理可以感知周围环境并与之交互，并与人类安全共存，在物理和虚拟领域提供帮助。这将是迈向高级机器智能 （AMI） 的关键一步。

Meta AI公开发布了几项新的研究成果，它们促进了触觉感知、机器人灵巧性和人机交互。触摸是人类与世界进行物理交互的第一种也是最重要的方式。

Meta Digit 360：具有人类触觉感知能力的人工指尖

Meta AI很高兴推出 Digit 360，这是一款人造手指形状的触觉传感器，通过以人类水平的精度将触摸数字化，提供丰富而详细的触觉数据。Digit 360 配备了超过 18 种传感功能，将推动触摸感知研究的进步，并允许研究人员结合其各种传感技术或隔离单个信号，以深入分析每种模式。随着时间的推移，Meta AI希望研究人员能够使用该设备来开发能够更好地理解和建模物理世界的 AI，包括物体的物理性、人与物体的交互和接触物理学。Digit 360可以检测空间细节的微小变化，并捕获小至 1 毫牛顿的力。

Meta AI先进的手指形多模态触觉传感器 Digit 360（右）与上一代的触觉传感器 Digit（左）并排显示。

为了实现这一目标，Meta AI开发了一种特定于触摸感知的光学系统，该系统具有由 800 多万个紫晶组成的宽视场，用于捕获指尖表面的全向变形。此外，我们还为传感器配备了许多传感模式，因为与环境的每次触摸交互都具有独特的特征，该特征由表面的机械、几何和化学特性产生，用于感知振动、感应热量，甚至闻到气味。通过利用这种多模态信号，Digit 360 将帮助科学家推进 AI 研究，从而更详细地了解世界。借助设备上的 AI 加速器，Digit 360 可以在本地快速处理信息，以对网球的弯曲或针的戳刺等刺激做出反应。它可以充当受人类和动物反射弧启发的机器人的周围神经系统。

除了提高机器人的灵巧性外，这种突破性的传感器还具有从医学和假肢到虚拟现实和远程呈现的重要潜在应用。这种新的触觉专用光学镜头可以看到人工指尖周围的印记，捕捉到有关接触物体表面的更敏感细节。对于虚拟世界，Digit 360 可以帮助更好地将虚拟与环境的交互基础化，以更真实地表示超出其视觉外观的对象属性。Meta AI将公开发布所有代码和设计，并期待看到社区迭代这项工作。

Meta Digit Plexus：触觉灵巧手的标准化平台

人手非常擅长向大脑发送从指尖到手掌的皮肤触摸信息。这样，就可以在做出决策时激活手部的肌肉，例如，如何用键盘打字或与太热的物体交互。实现具身 AI 需要机器人手上的触觉感应和电机驱动之间进行类似的协调。

Meta AI提出了一个标准化平台 Meta Digit Plexus，它提供了一种软硬件解决方案，可将触觉传感器集成到一只机械手上。该平台将指尖、手指和手掌上的基于视觉和基于皮肤的触觉传感器（如 Digit、Digit 360 和 ReSkin）连接到控制板中，以将所有数据编码到主机。该平台的软件集成和硬件组件允许通过单根电缆实现无缝数据收集、控制和分析。

Meta Sparsh：探索物理智能的新方法

为了使 AI 能够感知通过视觉无法到达的内容，Meta AI发布了 Meta Sparsh，这是一款用于基于视觉的触觉传感的通用编码器。Sparsh 这个名字源自梵语，意为触觉或接触感官体验，恰当地描述了 AI 模型如何处理数字化触觉信号以实现触觉感知。

Meta AI发现，Sparsh 的性能平均优于特定于任务和传感器的模型 95% 以上。通过启用用于触觉传感的预训练主干，Meta的目标是使社区能够构建和扩展这些模型，以实现机器人、AI 等领域的创新应用。

PARTNR：在具身多智能体任务中规划和推理的基准

要使机器人真正有用，它们必须超越体力任务并考虑社交互动。Meta AI引入了 PARTNR 基准测试，这是一个用于评估人机协作中规划和推理的标准化框架。PARTNR 支持在各种协作场景中对体现模型（例如基于 LLM 的规划器）进行可重复的大规模评估，并结合时间和空间等物理世界限制。

多样化的推理任务

通过 PARTNR，Meta AI的目标是推动人机交互和协作智能的进步，将人工智能模型从“代理”转变为“合作伙伴”。

PARTNR 利用 LLM 大规模生成任务，结合在环仿真来使 LLM 接地并减少错误

PARTNR 是同类产品中最大的基准测试，包括 100,000 个自然语言任务，跨越 60 个房屋和 5,800 多个独特的对象。将 AI 模型从代理转变为熟练合作伙伴的旅程正在进行中。通过提供标准化的基准和数据集，PARTNR 旨在推动人机协作领域的负责任的研究和创新。Meta希望它能够使机器人的研究不仅能够孤立地运行，而且可以在人周围运行，使它们更高效、更可靠，并能适应每个人的喜好。

内容来源：Advancing embodied AI through progress in touch perception, dexterity, and human-robot interaction