未来清研推出多模态 Ego 数据产品。Ego 数据以第一视角视频为时间主轴，按需组合手部 MANO、操作物体轨迹、头部相机轨迹、手物接触、动作语言指令和目标灵巧手重定向结果，形成面向具身感知、操作理解、模仿学习与机器人策略训练的多模态数据产品。
组合原则：模态不固定捆绑
各模态不是固定捆绑。用户可从 Video 基础包出发，根据任务选择一个或多个增强模态；所有模态通过统一 episode、时间戳、坐标系和版本信息关联。
第一视角相机跟随操作者移动，天然记录「看到了什么、双手如何运动、操作了什么物体、何时发生接触、动作意图是什么」。与固定第三视角相比，Ego 数据更接近机器人在真实操作中的视觉输入，也更容易覆盖长时序、遮挡、手物近距离交互和任务步骤。
模态可组合架构
Video 是基础模态；相机标定与时间同步是所有三维模态的公共底座。MANO、物体轨迹、接触和语言可以独立交付，也可以组合成更高价值的数据包。灵巧手重定向属于面向目标机器人的派生模态，必须记录目标手型号、运动学版本、优化配置和质量指标。
| 模态 | 核心内容 | 典型用途 |
|---|---|---|
| Video | 第一视角 RGB/Depth、音频、帧时间戳、相机内参 | 视频理解、感知训练、动作分段 |
| MANO(手部动作位姿) | 左右手形状、关节姿态、腕部全局位姿 | 3D 手势、抓取姿态、人手到机器人映射 |
| 物体轨迹 | 目标物体 ID、6DoF 位姿、速度 | 物体跟踪、操作结果和策略监督 |
| 相机轨迹 | 头戴相机世界坐标 SE(3) 位姿 | 世界坐标对齐、场景重建 |
| 接触状态 | 手指/手掌与物体接触、接触点 | 抓取检测、物理一致性 |
| 语言指令 | 任务、步骤、动作、约束描述 | 视频语言、VLA、任务规划 |
| 灵巧手重定向 | 目标手关节、腕部位姿、接触目标 | 遥操作、模仿学习、真机数据生成 |
质量验收指标
各模态均配套严格的质量验收指标：Video 关注有效帧率与隐私覆盖；MANO 关注重投影误差与时序抖动；物体轨迹关注位姿误差与轨迹连续性；相机轨迹关注跟踪率与漂移；接触模态关注事件边界误差与手指级 F1；语言关注时间 IoU 与对象/动作一致率；灵巧手重定向关注可行帧率、关节越界率与仿真成功率。
面向任务的模态选配
不同具身任务有对应的最低模态组合建议——如动作识别用 Video+Language，手物联合跟踪用 Video+MANO+Object，人到机器人模仿学习用 MANO+Object+Contact+Retarget。涉及世界坐标或机器人动作时，建议始终包含标定与相机轨迹。
如需了解更多选配与采购信息，可通过原文链接进入选配平台，或扫描原文二维码联系专人。