二维人物变3D,AI让人物从静态图像中走出来

二维人物变3D,AI让人物从静态图像中走出来来自华盛顿大学和Facebook的研究人员最近发表了一篇论文,该论文展示了一种基于学习的深度系统,可以将静态图像和绘画转换为动画。该算法名为Photo Wake-Up,使用卷积神经网络将单个静止图像中的人物或角色转换为3D形态。

研究人员在论文中指出:“我们的方法适用于各种各样的全身正面照片,包括体育照片到艺术品和海报。此外,用户可以在图像中编辑人物,在3D中查看重建,并在AR中进行探索。”

为了展示算法的强大功能,团队使用了涂鸦,卡通人物,NBA明星斯蒂芬库里和毕加索的画作。

在工作的关键是一个独特的方法,允许研究人员在静止图像中扭曲一个人的二维轮廓,使该算法能够生成与图像中的人物匹配的逼真的三维动画网格。

团队使用NVIDIA TITAN GPU和cuDNN加速 PyTorch深度学习框架,将他们的软件建立在一个名为SMPL的预先训练模型的基础上,该模型最初是由微软和德国马普智能系统研究所的一个团队开发的。

二维人物变3D,AI让人物从静态图像中走出来

如上图所示,首先给定照片,进行人物检测,2D姿势估计和人物分割,使用现成的算法来执行。然后,SMPL模板模型适合2D姿势并作为皮肤贴图投射到图像中。

系统的核心是:找到人物轮廓和SMPL轮廓之间的映射,将SMPL贴图变形到输出,并通过整合变形的贴图来构建深度贴图。

接着重复此过程以模拟模型的后视图,并组合深度和皮肤贴图以创建完整的3D网格。之后,网格进一步纹理化,并使用修复背景上的运动捕捉序列进行动画处理。

团队表示,“我们相信这种方法不仅为人们提供了欣赏和与照片互动的新方式,而且还提出了从单一图像重建虚拟化身的途径,同时也为从一张照片了解人体建模的艺术现状提供了思路。”

论文:
arxiv.org/pdf/1812.02246.pdf

本文为ATYUN(www.atyun.com)编译作品,ATYUN专注人工智能
请扫码或微信搜索ATYUN订阅号及时获取最新内容

发表评论