网易利用人工智能从自拍中创造3D游戏角色

2019年09月12日 由 KING 发表 49085 0

在角色扮演游戏(RPG)中,如现代经典犯罪游戏侠盗猎车手,许多玩家是根据自己的形象来塑造游戏中的角色。但是现在的内置字符定制系统越来越复杂,它们可能需要手动调整数十个甚至数百个参数,要花费几个小时才能完成。


游戏巨头网易(netease)的研究人员开发了一种新方法,可以根据标准的人像照片自动创建玩家在游戏中的角色。他们详细介绍了这种方法,即面向参数的游戏角色自动生成方法。角色生成过程从玩家的照片开始,它被用作一个基于深度学习的框架训练输入,该框架包括一个模仿者模块和一个特征提取器。


模仿者模块的目的是模拟游戏引擎的行为,自动创建一个风格与照片风格一致的角色(由游戏引擎生成)。它首先以用户自定义的面部参数,如发型、眉毛、胡须和嘴唇等为基础,由深度学习的网络框架生成最终渲染的面部图像。然后特征提取器利用特征空间,在神经传递框架下进行人脸相似度检测,利用梯度下降法对人脸参数进行优化。从本质上讲,这是一个跨域(从现实世界的图像到3D动画角色)图像相似度的度量问题。但是如何保证跨域转换过程中整体外观和局部细节的准确性呢?研究人员利用一个深度卷积神经网络和多任务学习来解决这个问题。他们的解决方案是利用两个精心设计的损失函数:辨别损失和面部内容损失函数。例如,一个人的面部形状和面部特征都包含在整体外观中,而更具体的局部特征,如给定区域内的阴影,也可以进行分析。研究人员还介绍了3D人脸重建方法,它创建了一个骨骼驱动的模型,不同于其他生成三维人脸网格的三维人脸重建方法。因此,该模型预测了一组具有更明确物理意义的面部参数。


自动生成过程不仅限于自拍照片,它还可以支持具有艺术特色的照片输入,如素描和漫画。研究人员认为,用这种方法生成的3D字符与输入的2D图像具有很高的相似性,因为这种方法依靠的是面部语义,而不是原始像素。虽然新方法可以自动生成游戏中的角色,但玩家也可以将其作为自己DIY角色创建过程中的辅助工具。研究人员说,这种方法还可以根据用户的需求进一步调整细节和进行其他更改。目前这种方法已经被国内玩家使用了一百多万次。

欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消