Vidu AI是由中国公司盛数科技开发的生成式人工智能视频平台。今天,该公司宣布其最新的Q1模型更新,具备由语义理解驱动的高级“参考到视频”功能。
该公司正在开发一个生成视频的AI模型,与OpenAI的Sora竞争。该模型能够生成生动的视频序列。此次更新允许在制作涉及多个元素的视频场景时提供更丰富的视频背景,这些元素在不同片段的帧之间保持一致。
用户现在可以上传多达七张参考图像,并提供一个将它们结合在一起的提示,供AI在场景中使用。例如,AI使用公司称之为“语义理解”的技术来参考图像,并将其与文本提示相关联,甚至推断缺失的元素以生成关键对象。
“这次更新突破了创作者认为他们可以用AI视频实现的极限,”首席执行官罗一航表示。“通过扩展多图像引用以支持多达七个输入,我们正在更接近于让用户创建完全实现的场景,完整的角色、物体和背景。”
例如,用户可以上传一张穿绿色连衣裙的年轻女子的图像、一幅田园诗般的森林场景和一只猫头鹰。然后输入提示:“女子在森林中拉小提琴,而猫头鹰在日出时飞下来,落在附近的树枝上。”
罗一航表示,Vidu Q1语义核心引擎将在她手中生成小提琴,保持整个片段的场景一致性和叙述质量。使用这项技术,创作者在尝试创建复杂场景时不再需要面对陡峭的技术障碍。制作一致的视频场景时,他们只需要文本提示和图像。
Vidu正在与Google LLC的Veo 3竞争,该产品于五月底发布。其生成视频功能包括自然的英语提示和参考图像,以及一个名为Flow的电影制作工具,允许用户管理叙述设计,以开发包括视觉效果、特效和音频(包括语音)的完整短篇AI生成电影。
盛数科技在三月底宣布与洛杉矶的动画工作室Aura Productions合作发布一部50集的短片科幻动漫系列,完全由AI生成。该项目旨在通过使用AI能力增强传统叙述技术来重新定义数字娱乐。计划今年在主要社交媒体平台上发布。
“AI不再仅仅是一个工具;它是一种创造性的增强,允许我们在保持艺术完整性的同时扩大生产规模,”Aura的节目负责人D.T. Carpenter在接受《Variety》采访时谈到这个项目。