告别昂贵遥操作：EgoInfinity开源4D数据引擎 × Franka七自由度机械臂，任意视角视频直通可执行关节轨迹

摘要：EgoInfinity 开源 4D 手物交互数据引擎，将 YouTube 普通视频编译为 Franka 七自由度力控机械臂可执行的关节轨迹；基于 Action100M（约 14.6 年、1.4 亿余条 VLM 标注片段），双臂 Franka FR3 真机验证切割、倾倒、擦拭，跨形态重定向支持任意视角。

机器人学习长期被同一个问题卡住：数据从哪来。遥操作采集成本高、速度慢，实验室数据有限；互联网上不缺人类用手操作物体的视频，但只是无结构 2D 画面，缺 3D 几何、物体位姿与接触信息，机器人无法直接消化。Rice 团队近期开源 EgoInfinity——网页规模 4D 手-物交互数据引擎，把普通 RGB 视频升级为结构化 4D 交互数据，支持任意视角（含第一人称视角）输出，用于机器人学习与跨形态技能迁移。

EgoInfinity 不是静态数据集，而是模块化引擎：感知、分割、重建、交互感知细化、重定向各环节解耦，组件可替换为更强的 SOTA 模型，随领域进步升级。数据底座是 Action100M——约 14.6 年、1.4 亿余条 VLM 标注动作片段。引擎两遍式处理：先轻量过滤，再对活跃片段运行完整重建栈。全程无需人工标注、动捕、深度相机或 CAD。

图1 EgoInfinity 数据引擎全流程：从互联网 RGB 视频到 4D 手物交互数据与机器人部署（来源：arXiv:2606.17385，Fig.1）

引擎输出 agent-agnostic 的度量级 4D 表征：手部网格与轨迹、物体 6DoF 位姿、接触状态、点云与网格，并以交互感知细化抑制漂移和接触不一致。

真正打通“视频到动作”的是功能重定向模块：估计机器人专属根坐标系，经 IK 把 3D 手部运动编译成可执行关节轨迹，论文在 Unitree G1、Robonaut2、双臂 Franka机器人FR3、XLeRobot 上验证跨形态重定向，并在双臂 Franka机器人FR3 真机跑通切割、倾倒、擦拭。

图2 视频到机器人全管线：同一轨迹重定向到双臂 Franka FR3、Unitree G1、Robonaut2 等形态并真机执行（来源：arXiv:2606.17385，Fig.10）

为什么用 Franka机械臂验证？因为 Franka Research 3 七轴力控机械臂与“接触状态”天然匹配：Franka七自由度机械臂 提供 7 个全关节扭矩传感器与 1kHz 高频控制，配合 3kg 负载、855mm 工作半径和 ±0.1mm 重复定位精度，把接触信息落成柔顺、安全的真机动作，体现 Franka力控机械臂 的价值。FR3机器人 支持 ROS 2 与 MATLAB；需双手操作时，FR3 Duo 双臂方案（2×7 自由度、14 扭矩传感器）对应双臂场景。

图3 双臂 Franka FR3 真机执行切割、倾倒、擦拭等技能（来源：arXiv:2606.17385，Fig.11）

对高校实验室、Franka教育机器人 用户、具身智能与工业研发团队，价值很直接：互联网视频变成可执行技能的数据供给，遥操作与标注成本下降，同一份 4D 数据可跨形态复用，验证周期缩短——Franka科研 场景（模仿学习、双臂协作、力控工艺）均直接受益。项目已开源：代码在 GitHub（Rice-RobotPI-Lab/EgoInfinity），演示与数据预览在 Hugging Face。