人工智能初创公司Luma AI公司今日宣布推出Ray3,这是一款强大的文本到视频AI模型,内置推理功能,专为专业人士的高质量电影视觉制作而设计。
Luma还宣布与Adobe公司合作,将新模型集成到Adobe的AI支持Firefly应用中,这是一款用于创意工作的全能软件。
“Ray3是我们为创意工作构建智能的第一步,”Luma AI的联合创始人兼首席执行官Amit Jain表示。“创意工作是人类最具智力挑战性的任务之一,但直到现在,许多可供创意人员使用的AI在编码和语言模型分析方面远远落后于可能性。”
Ray3的旗舰功能是链式思维推理,使其能够“思考”场景描述并遵循创意专业人士的指示。Jain表示,直到现在,市场上的大多数生成视频模型更像是老虎机:表现出很大的能力但缺乏智能。
通过推理,Ray3可以评估自己的输出并优化结果,以更好地保留用户的艺术愿景。它可以规划复杂的场景,并在展示之前判断其输出是否合理。
该模型的工作方式类似于动画师和电影制片人,在生成最终产品之前绘制故事板。在这个草稿过程中,用户可以与模型协作,提供更精确的指示,例如为视频的部分添加注释。然后,模型可以跟随复杂的多步骤创意过程。它还理解视觉注释,例如在草稿过程中在视频静帧上绘制的线条,使其能够更精确地遵循用户指示。
Ray3相较于公司上一代模型Ray2有了显著升级,体积是其两倍。它可以使用专业的ACES2065-1 EXR标准在10、12和16位格式下生成真正的高动态范围视频。实际上,这为电影制片人和广告商提供了与高端摄像机拍摄的素材中相同的色彩曝光和光照控制范围。
该模型还可以将几乎任何来源的标准动态范围视频转换为HDR,提供更丰富的色彩和更大的编辑灵活性。例如,Ray3的HDR转换可以在不“冲淡”颜色的情况下使过于黑暗的场景变亮。
用户可以从文本和图像生成最长10秒的视频剪辑。通过为图像添加文本注释,用户可以对初始输出获得更大的控制。由于模型内置的强大构图和视觉理解引擎,拼接多个场景变得更容易,因为它比以前更好地保持了生成之间的一致性。
除了与Adobe的合作,Luma AI表示Ray3正在被日本最大的综合数字营销公司之一Dentsu Digital Inc.采用。作为启动合作伙伴,Dentsu计划在其生产流程中使用Ray3,以为国内品牌提供更大的个性化和讲故事能力。
包括数字营销公司Monks和广告公司StrawberryFrog LLC在内的创意领导者也在采用Ray3以扩大其能力。此外,沙特阿拉伯的AI公司Humain表示计划将Ray3集成到其为创意专业人士提供的企业服务中。
“Ray3不仅仅是一次升级,而是一次量子飞跃,”Humain的首席战略官Steve Plimsoll说。“通过赋予AI在文字、图像和运动之间推理的能力,我们不仅加速了创意输出的速度和保真度,还融入了更智能的护栏。这意味着更快地交付更锐利的创意,并提供尊重伦理、合规和文化背景的更安全的内容。”