您尚未登录账户
您的企业账号申请正在审核中
PhysDreamer技术让AI生成视频更逼真
模拟物体间的交互在生成逼真的视频或构建引人入胜的虚拟世界中扮演着至关重要的角色。要生成基于动作的动力学，我们需要深入了解物体的物理属性，如刚度，并根据这些特性预测其在三维空间中的运动。然而，由于真实数据的缺乏，准确估计现实世界中物体的材料属性变得异常困难。
麻省理工学院、斯坦福大学、哥伦比亚大学和康奈尔大学的研究人员共同开发了一种名为PhysDreamer的新技术，旨在解决这一难题。PhysDreamer是一种基于物理的方法，它能够从人工智能模型通过视频学习到的运动先验知识中提炼信息，为静态的三维对象赋予交互动力学。这使得合成对象能够对外界力或代理操作等新型交互做出逼真的反应。
PhysDreamer背后的核心理念是生成对象运动的合理视频，并随后优化材料属性以匹配这种合成的运动。研究人员假设，经过大量视频数据训练的视频生成模型，已经隐式地捕捉到了对象外观与其动力学之间的微妙联系。
PhysDreamer采用3D高斯分布来表示三维对象，利用神经场模型来描述物理材料属性，并通过名为物质点方法（MPM）的可微分物理引擎来模拟动力学。通过可微分模拟和渲染技术，PhysDreamer能够优化材料属性和初始速度，使得对象的运动与人工智能生成的参考视频高度匹配。
研究人员在包括花朵、植物、贝雷帽和电话线在内的一系列弹性物体上展示了PhysDreamer方法的有效性。为了验证PhysDreamer生成的交互的逼真程度，研究团队还进行了一项用户研究。结果显示，在53.7%的比较中，参与者认为PhysDreamer模拟的运动比现有方法更为逼真，甚至有些人更喜欢它胜过真实捕捉的视频。不过，研究人员也指出，与真实世界的动力学相比，PhysDreamer往往会产生更平滑、更低频的运动。
展望未来，研究人员认为PhysDreamer是向构建更身临其境和栩栩如生的虚拟世界迈出的重要一步。未来的研究方向包括提高计算效率，并将该方法扩展到更广泛的材料和动态现象上，为虚拟世界的创建带来更多的可能性。
