数字视频解析迎来新突破：MIT等团队打造全自动“运动数据工厂”

如今的数字视频处理系统虽然发展迅速，但在面对复杂的空间运动和物理规律时，仍存在明显的“理解不足”。它们可以描述画面内容，却难以回答诸如“红车是否在蓝车转弯前通过路口”或“皮球运行轨迹最高点在哪里”这类需要精细物理逻辑的问题。

根本原因在于高质量运动参考数据极度稀缺。现有参考信息规模不大，且高度依赖昂贵的人工标注，难以支撑计算系统学习真实世界的细粒度物理运动。为解决这一痛点，来自 MIT、英伟达（NVIDIA）、加州大学伯克利分校等机构的研究团队推出了 FoundationMotion：一条完全不依赖人工的自动化数据生成管线。

这条管线就像一个全自动的“运动数据工厂”，主要包含三个阶段：

• 轨迹提取： 使用先进的目标跟踪技术，将视频中的行人、车辆或机械臂等对象转化为连续的时空坐标轨迹。

• 语义转化： 把抽象的坐标数字转成结构化的文本说明，并结合视频帧信息，为系统提供一份详尽的“运动说明书”。

• 自动质检与生成： 通过逻辑整合，生成包含速度、方向、时间先后关系及空间位置的精细化问答数据。

令人惊喜的是，实验结果显示，仅依靠这条管线生成的数据进行优化后，一个拥有 150 亿参数的视频分析系统在运动理解任务上的准确率达到了 90.6%。这一成绩不仅超过了拥有 720 亿参数的大型开源架构，甚至优于目前主流的商业闭源系统。

研究人员表示，这次提升完全归功于数据的干净与准确，证明了在自动驾驶、机器人协作等领域，系统对物理世界的直觉可以通过海量、高质量的自动化数据训练建立起来。这意味着数字化系统在通往具备“物理常识”的具身智能道路上，迈出了关键一步。