Runway推出新的视频生成基础模型Gen-3 Alpha

2024年06月18日 由 daydream 发表 199 0

Runway,是率先致力于开发现实主义高质量生成式AI视频创作模型的初创公司之一。


微信截图_20240618094153


然而,自2023年2月发布第一代模型(Gen-1)和同年6月发布第二代模型(Gen-2)后,这家公司的光芒似乎被其他高度逼真的AI视频生成器所掩盖,特别是OpenAI尚未公布的Sora模型和上周Luma AI发布的Dream Machine模型。


但现在,情况有所逆转。Runway在生成式AI视频领域的竞争中发起了有力的反击:该公司宣布推出Gen-3 Alpha版本,并在其博客文章中声称,这是“Runway在新基础设施上训练的一系列模型中的首个,该基础设施专为大规模多模态训练而打造”,同时也是“构建通用世界模型”的重要一步,即一个能够“表示和模拟现实世界中遇到的各种情况和交互”的AI模型。以下是Runway使用Gen-3 Alpha制作的样本视频:





Gen-3 Alpha支持用户生成高质量、细节丰富、高度逼真的10秒视频片段,同时拥有高精度的多种情感表达和摄像机动作。


根据Runway发言人向VentureBeat发送的邮件:“此次初步推出将支持5秒和10秒的视频生成,且生成速度显著提升。一个5秒的片段仅需45秒生成,一个10秒的片段则只需90秒。”




该模型的确切发布日期尚未公布,Runway仅在其网站和社交媒体上展示了演示视频,目前尚不清楚该模型是否将通过Runway的免费版本提供,还是需要付费订阅(起价为每月15美元或每年144美元)才能访问。


Runway的联合创始人兼首席技术官(CTO)Anastasis Germanidis确认新的Gen-3 Alpha模型将在“几天内”首先提供给付费的Runway用户,但免费用户也将在未来某个尚未公布的时间点获得该模型。


Runway的一位发言人也通过电子邮件证实了这一声明,表示:“Gen-3 Alpha将在未来几天内上线,可供付费的Runway用户、我们的创意合作伙伴计划和企业用户使用。”


在LinkedIn上,一位Runway用户Gabe Michael表示他预计本周晚些时候将能够访问该模型:


在X平台上,Germanidis写道,Gen-3 Alpha“将很快在Runway产品中使用,并支持您已经熟悉的所有现有模式(文本到视频、图像到视频、视频到视频),以及一些现在仅通过功能更强大的基础模型才成为可能的新模式。”


微信截图_20240618094303


Germanidis还提到,自2023年发布Gen-2以来,Runway发现“视频扩散模型在性能方面的提升远未饱和,这些模型在学习预测视频任务时,构建了对视觉世界的真正强大表示。”


扩散是一个过程,通过这个过程,AI模型被训练成根据从带注释的图像/视频和文本对中学习的概念,将像素化的“噪声”重新组合成概念的可视化(静态或动态)图像。


Runway在其博客文章中表示,Gen 3-Alpha是“在视频和图像上联合训练的”,并且是“一个跨学科团队的研究科学家、工程师和艺术家共同努力的成果”,尽管尚未透露具体的数据集——这与大多数其他领先的AI媒体生成器不透露其模型训练的确切数据集的趋势相符,以及是否通过付费许可协议获得数据,还是仅从网上抓取。




批评者认为,AI模型制作者应该通过许可协议向原始创作者支付训练数据的费用,甚至为此提起版权侵权诉讼,但大多数AI模型公司都坚持认为,他们有权在法律上训练任何公开发布的数据。


当被问及Gen-3 Alpha使用了哪些训练数据时,Runway的发言人表示:“我们有一个内部研究团队负责所有的训练工作,我们使用精选的内部数据集来训练我们的模型。”


有趣的是,Runway还指出,它已经“与领先的娱乐和媒体组织合作,为Gen-3创建定制版本”,这“允许更受风格控制和一致的角色,以及针对特定的艺术和叙事要求等其他功能。”




虽然没有具体提及合作的组织,但此前,备受赞誉和获奖的影片《瞬息全宇宙》和《人民的小丑》背后的电影制作人透露,他们使用了Runway为影片的某些部分制作特效。


Runway在其Gen-3 Alpha的公告中包含了一个表格,邀请其他对获得新模型定制版本感兴趣的组织在此申请。不过,尚未公开定制模型训练的价格。


与此同时,很明显Runway并未放弃成为快速发展的生成式AI视频创作领域的主导者或领导者的目标。

文章来源:https://venturebeat.com/ai/runway-unveils-new-hyper-realistic-ai-video-model-gen-3-alpha-capable-of-10-second-long-clips/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消