TMT星球
2026-10-13
第一视角（Ego）视频让数据采集从专业场地走进真实生活和工作，成为具身智能预训练的重要数据来源。但拍下操作，并不意味着就能获得具身模型预训练所需的4D数据，系统还需要准确辨认佩戴者的双手、还原手指的弯曲姿态，并测量手在空间中的移动距离。
近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架“MEgoVista”，用以将Ego视频更精准地转化为4D数据。论文实验结果显示，MEgoVista在Ego视频上具备较高的重建精度，可将无需预先布置场景的第一视角录制数据，有效转化为具有真实尺度的双手动作和头部运动轨迹。
通过独立动捕系统测评和真实场景对比，研究团队检验了MEgoVista的重建精度与跟踪表现。结果显示，经位置、朝向和尺度对齐后，MEgoVista的手指姿态误差为4.29毫米，低于HaWoR的16.30毫米和Dyn-HaMR的49.18毫米；动作抖动指标为1.11毫米／帧²，也低于两种对比方法。在制作奶茶、美甲和给宠物洗澡三个真实场景的画面对比中，MEgoVista整体跟踪更稳定，在美甲场景中也是三者中唯一正确区分佩戴者与顾客双手的系统。
从“看见动作”到“测准动作”，难在哪？
Ego视频要在模型训练阶段“派上用场”，关键是将人的操作精准“翻译”成机器人的动作。然而，要从采集的视频中准确提炼4D数据，仍面临诸多挑战。
场景覆盖范围与重建精度往往难以兼顾。固定场地中的多摄像头系统能够较准确地还原手部动作，但需要提前布置设备，采集范围有限。覆盖真实生活的大规模视频数据集，则往往缺少具有真实尺度的三维手部标注，无法直接提供手部的实际位置和移动距离。
其次，“姿势像”不等于“位置准”。现有算法已能根据图像估计手指姿态，或从视频中还原手部运动轨迹。但仅靠单个摄像头，距离估计主要依赖模型从训练数据中学到的经验，缺少现场测量作为依据。因此，重建结果即使与画面中的手部轮廓吻合，其空间位置也可能存在偏差。
真实操作中的多人互动和遮挡，也增加了识别难度。以美甲为例，美甲师和顾客的手同时入镜，系统需要持续辨认佩戴者的双手，避免跟错对象。工具、物体或前臂遮住手指，以及双手暂时移出画面，都可能造成跟踪中断或重建误差。
头部运动同样会影响重建。摄像头随佩戴者转头、移动，画面也随之变化，系统需要区分手部运动与镜头运动。尤其在头部转动较多、实际位移较小时，空间距离更难准确估计。
因此，MEgoVista要应对一系列相互关联的挑战：在无需预先布置的场景中，准确识别并持续跟踪佩戴者的双手，还原具有真实尺度的手部动作和头部轨迹，再通过独立的外部测量验证重建精度。
三步还原：认清手、测准距离、连贯动作
针对上述问题，MEgoVista设计了一套离线重建流程：先识别佩戴者的双手，再利用多摄像头测量距离，最后对整段动作进行优化。
识别并持续跟踪佩戴者的双手。MEgoVista在检测手部位置、区分左右手的同时，还会辨别哪些手属于佩戴者，避免在多人互动时跟错对象。以美甲为例，当美甲师和顾客的手靠近或接触时，MEgoVista可以分清双方身份，避免将顾客的手误认成佩戴者的手。
其次，通过多摄像头测量手部距离。MEgoView头戴设备配备三个鱼眼摄像头，以每秒60帧拍摄画面。中央摄像头分别与左右摄像头配对，形成两组立体视觉。系统根据同一只手在不同视角下的位置差异，结合事先标定的相机间距和相对位置，估计手与摄像头之间的实际距离。
针对鱼眼镜头畸变和相机安装角度带来的影响，系统先对画面进行校正，再使用Foundation Stereo估计深度，最后综合两组结果，并优先采纳可信度较高的信息，提高距离估计的可靠性。
优化整段动作，减少抖动和姿态异常。逐帧还原的手部姿势，单独看可能没有问题，连起来却可能出现位置突变、手指过度弯折等现象。为此，MEgoVista先筛选可靠的观测结果，再结合前后帧的信息调整整段动作，使运动更连贯、手指姿态更符合人体结构。
除了还原双手动作，MEgoVista还可以减少佩戴者“转头”带来的影响。MEgoVista利用多摄像头画面还原头部运动轨迹，在重建初期确定真实尺度，并结合惯性信息判断上下方向，从而区分手部运动与镜头运动。最终，双手动作和头部轨迹被纳入同一个具有真实尺度的坐标系，呈现它们在空间中的位置和移动距离。
测试结果：精度更高，手部识别更准
研究团队使用一套由26台摄像头组成的独立光学动作捕捉系统，提供参考数据，检验MEgoVista的重建精度。评测手部漏检算作惩罚，避免算法通过跳过困难画面获得更好成绩。
测试中，MEgoVista的手指姿态误差为4.29毫米，HaWoR和Dyn-HaMR分别为16.30毫米和49.18毫米。需要说明的是，这一指标是在对齐位置、朝向和整体尺度后计算的，反映的是手指姿态精度，不代表整只手在空间中的绝对位置误差。
在这批测试数据中，MEgoVista没有出现手部漏检或误检，动作抖动也低于两种对比方法。两组头部轨迹测试中，完整片段的平均位置误差分别为2.87毫米和0.75毫米。
团队还在三类真实场景中进行了进一步对比：
·制作奶茶：双手快速移动时，MEgoVista和Dyn-HaMR的骨架较贴合手部，HaWoR的左手骨架出现明显错位。
·美甲：HaWoR和Dyn-HaMR都曾将顾客的手误认为佩戴者的手，MEgoVista正确区分了两人的身份。
·给宠物洗澡：手部沾有污物且快速运动时，MEgoVista和Dyn-HaMR均检测到了手部，HaWoR的左手和手腕出现偏移。
从画面来看，在快速操作和多人互动场景中，MEgoVista能够较完整地检测手部，重建骨架与实际手部位置较为吻合，也能较稳定地区分佩戴者和旁人的双手。
论文指出，MEgoVista将第一视角视频中的操作还原为具有真实尺度的4D动作数据，并通过独立测量检验重建精度，为机器人学习提供了更可靠的数据来源。
觅蜂科技正持续推进MEgo系列设备量产，以及数据采集、治理和评测能力建设。此次MEgoVista的研究成果，为这一布局提供了新的技术支撑：在拓展数据来源的同时，提高三维动作重建精度，让真实生活的数据更好地服务于具身模型训练。
