可以改变视频产业的突破性AI技术,合成编辑视频中的人像

2018年06月04日 由 浅浅 发表 337681 0
人工智能新闻

研究人员最近开发了一个基于深度学习的系统,首次可将原演员的完整3D头部位置,面部表情和目光转移到目标演员。

“合成和编辑视频中的人像,即用来展示人的头部和上身的视频,是计算机图形学中的一个重要问题,应用于视频编辑和电影后期制作,视觉效果,视觉配音,虚拟现实和远程呈现等等,”研究人员在他们的研究报告中解释说。

团队使用NVIDIA TITAN Xp GPU,用公用的剪辑训练了生成神经网络十个小时。

[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/06/Deep-Video-Portraits-SIGGRAPH-2018.mp4"][/video]

“我们的方法使原演员能够完全控制目标演员的僵硬的头部姿态,面部表情和眼球运动; 甚至面部识别也可以在一定程度上进行修改,”该团队解释说。“所有这些维度都可以共同或独立操纵。并且自动合成完整的目标框架,包括整个头部和头发,以及符合修改过的头部的逼真的上半身和背景。”

这项工作是基于之前在GPU技术会议上展示的Face2Face工作。该系统可能会被用于诸如面部再现、外语电影的视觉配音和电影后期制作等领域。

研究人员说,与其他方法相比,他们目前的方法表现很好。“我们通过实验和用户研究表明,我们的方法质量胜过以前的工作,并扩展了其可能性。因此,它在许多应用程序中开辟了新的功能级别,如用于虚拟现实和远程呈现的视频重现,交互式视频编辑和视觉配音。”

这项工作研究人员来自马克斯普朗克信息学研究所,Technicolor,慕尼黑理工大学,巴斯大学和斯坦福大学等。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消