您尚未登录账户
您的企业账号申请正在审核中
微软推出VASA-1，AI合成逼真说话视频
微软研究团队推出了新型AI模型VASA-1，这款模型仅凭借一张图片和一段音频，便能生成高度逼真的说话面部视频。这些视频不仅唇形与音频同步精准，而且面部表情栩栩如生，头部动作自然流畅，仿佛真人一般。
VASA-1的核心在于其基于扩散的整体面部动态和头部动作生成模型，该模型在面部潜在空间中运行。这一创新模型有两大关键点。首先，它摒弃了以往分别建模不同因素的方法，而是采用整体方法，在学习的面部潜在空间中生成面部动态和头部动作。其次，面部潜在空间经过精心设计，并在大量视频语料库上训练，确保能够捕捉面部外观的细微差别和动态变化，同时实现面部表情、头部姿势和身份信息的有效分离。
在实验中，VASA-1的表现显著优于目前最先进的方法，无论是唇形同步质量、头部动作逼真度还是整体视频质量，都取得了令人瞩目的成绩。从视觉效果上看，生成的视频在合成说话面部方面实现了质的飞跃，让人难辨真伪。值得一提的是，该模型还能应对各种挑战场景，如艺术照片、歌唱音频和非英语语音，即便没有针对这些数据进行训练，也能展现出良好的适应性。
VASA-1不仅性能卓越，而且具备实时应用能力。它能够以高达每秒40帧的速度生成512x512像素的视频，且延迟极低，非常适合实时场景应用。此外，该模型还提供了对生成的视线方向、头部距离和情感的可选控制功能，为用户提供了更大的灵活性和个性化选择。
在测试阶段，VASA-1在多个关键指标上均展现出超越现有技术的性能，特别是唇形与音频的同步质量以及头部动作的自然度。研究人员采用了一系列新开发的评估技术对这些动画效果进行了精确测量，进一步证实了VASA-1的先进能力。
尽管这项技术存在被滥用的风险，但研究人员仍积极强调其在教育、无障碍性和医疗保健等领域的广阔应用前景。通过利用VASA-1生成逼真面部视频的能力，可以为这些领域带来前所未有的便利和可能性。
