
Runway周一推出了一款新的视频生成模型,与大型生成式AI厂商的视频和图像生成模型竞争。
据这家2018年初创公司介绍,Runway Gen-4.5 提供了高度的视觉准确性和创意控制力,该公司在视频、媒体和艺术生成式人工智能系统方面取得了成功。
用户只需写出详细描述所需动作和动作的提示,即可使用该模型生成高清视频。据Runway介绍,该模型在细致构图、身体准确性和富有表现力的角色方面表现出色。它还能处理不同的风格控制和视觉一致性。
Runway基于Nvidia GPU构建模型 ,并利用这些芯片进行预训练、后训练和推理。
改进与应用
Gartner分析师Arun Chandrasekaran表示,Runway Gen-4.5是AI模型不断改进的又一例证。然而,新模型面临OpenAI的视频模型Sora和谷歌的Veo 3.1的激烈竞争。
尽管Gen-4.5和Veo 3.1都是视频型号,但它们针对不同的受众和应用,Chandrasekaran说。T台视频主要用于社交媒体动态。
“Runway的使用场景一直是短视频,”Chandrasekaran说。
与此同时,谷歌Veo则将目标锁定为更长的视频,比如几分钟内播放的产品营销视频,而非几秒钟的视频。Gen-4.5更适合Instagram和社交媒体短视频,这些短视频只需几秒钟,而不是几分钟。
然而,凭借新模式,Runway提升了其在制作物体和角色方面的能力,更加一致且清晰。
“看起来他们也更加注重如何重现更复杂的视频场景,”Chandrasekaran说。
现实主义困境
他补充说,模型还在生成物理世界的影像,有时让人难以区分什么是真实的,什么是虚幻的。不过这并非《Runway》独有,许多视频生成模型已经非常先进,难以分辨什么是假的。
Forrester分析师威廉·麦基恩-怀特表示,无法区分真实与虚假导致了两种不同的观点。
“我建议在短片结尾加个免责声明,说明他们已经完成了,借助人工智能。”
他指出,使用AI生成视频的游戏公司最近也持相反立场。例如,Epic Games表示支持不给AI生成材料贴标签。另一方面,另一家游戏公司Valve支持给AI生成内容贴标签。
“关于各组织在这方面的立场,目前正激烈争论,”麦基恩-怀特说。虽然现实主义问题带来了一定的道德困境,但《Runway》的做法本身也凸显了AI视频生成技术的一些局限性。
例如,该模型在因果推理方面存在一些问题,特别是当效应先于原因时。一个例子是门在按下门把手之前就打开了。另一个挑战是物体的永久性,即物体突然消失或出现。
“虽然记忆力和物体间的互动仍在提升,但关于如何打造更持久或更一致的镜头,这里仍需改进,”麦基恩-怀特说。
