PhysX-Anything一图生成可仿真3D资产：关节与物理参数显式保留，现已开源

南洋理工大学与上海人工智能实验室联合推出开源框架 PhysX-Anything，只需一张 RGB 图片即可生成包含几何、关节和物理属性的完整 3D 资产，可直接导入 MuJoCo、Isaac Sim，用于机器人策略训练。

技术亮点  

1. 由粗到细的流程：先整体预测物理属性（质量、质心、摩擦系数），再到部件层面细化几何与关节极限角度，避免只看视觉导致的物理不准。  

2. 新型压缩 3D 表示：将面片、关节轴与物理参数压入 8K 维隐向量，推理时一次性解码，生成速度比当前 SOTA 快约 2.3 倍。  

3. 显式物理监督：数据集中加入 12 万条真实物理测量，训练中引入质心、惯性矩与碰撞盒损失，确保仿真更一致。

实测结果  

在 Geometry-Chamfer 和 Physics-Error 两项指标上，PhysX-Anything 分别降低 18% 与 27%；绝对尺度误差 < 2 cm，关节活动范围误差 < 5°，明显优于 ObjPhy、PhySG 等最新方法。真实场景测试（宜家家具、厨房用品）中，将生成资产导入 Isaac Sim 后，机器人抓取成功率提升 12%，训练步数减少 30%。

开源与影响  

项目已在 GitHub 发布，权重、数据与评测基准同步开放；团队计划在 2026Q1 推出支持「视频输入」的 V2 版本，可预测可动部件的时序轨迹，助力动态场景的策略学习。

论文：https://arxiv.org/pdf/2511.13648