国内团队天图万境推全新“视频生音频”通用工具Sora Opera

2024年03月14日 由 neo 发表 396 0

近日,我们了解到国内有一支技术团队已经成功研发出了类似于“Pika”的音频生成工具,并且已经在内部进行了长达半年的试用,主要用于为文生视频的静音画面增添音效或背景音乐。令人振奋的是,这款神秘的应用即将揭开其神秘面纱,正式与公众见面。

这支技术团队名为“天图万境”,他们与华为云携手,共同推出了这款名为“Sora Opera”的小工具。据透露,这款工具将在不久的3月内正式上线,届时广大用户将有机会亲自体验其强大的功能。

641(1)

天图万境方面也向视智未来提供了Sora Opera项目的体验网址:

http://soraopera.skymaper.com ,将在几天内向公众开放。

值得一提的是,Sora Opera首先在华为云平台上发布,后续还将推出可在本机运行的开源版本,以满足不同用户的需求。令人欣喜的是,即使在云端,使用Sora Opera进行视频配音也是完全免费的,这无疑为用户提供了极大的便利。

641(2)

Sora Opera拥有两大核心功能:文生音效和视频配乐。尽管受限于算力成本,云端版本会先面向合作伙伴开放,但相信在不久的将来,更多用户将能够享受到这两项功能带来的惊喜。

文生音效功能允许用户输入诸如“刀剑击打声”或“清脆悦耳的鸟叫声”等提示词,Sora Opera便能迅速生成相应的音频片段,为视频增添生动的声音效果。而视频配乐功能则能够根据用户的需求,生成具有特定旋律、节奏的背景音乐,让视频更加引人入胜。

此外,天图万境的创始人图拉古还向我们展示了Sora Opera的演示视频。这些原本静音的视频,在经过Sora Opera处理后,不仅加入了丰富的音效,还根据画面内容精准地调整了音量和停顿,使得视频更加生动有趣。例如,在一个展示猛犸象的视频中,Sora Opera为其添加了逼真的象鸣声;在一个女子在东京街头走动的视频中,系统则为其配上了一段充满复古风情的曲调。

在效率方面,Sora Opera同样表现出色。据图拉古介绍,在一张1080ti的显卡下,生成4个14秒带音效的视频仅需近10秒;而在更高级别的3090显卡下,用户几乎感受不到任何等待时间。此外,Sora Opera的专业版还支持长达60分钟的完整视频配音,用户可以将自己拍摄的素材导入其中,获得全新的音效或灵感。

除了为AI生成的视频配音外,Sora Opera还能为已有的视频重新配音。它具备强大的处理能力,能够应对各种复杂的画面内容,如加速处理的视频也能精准匹配音效。同时,Sora Opera还能识别图像的节奏以及与画面之外的声像关系,如衣服摩擦的声音等,使得配音效果更加真实自然。

在声音生成方面,Sora Opera也展现出了惊人的实力。它能够理解真实世界的声音生产规则,并尽可能准确地还原这些声音。例如,在为咖啡机制咖啡的视频配音时,Sora Opera能够捕捉到机器启动和停止的声音,并与画面中咖啡出液和倒吸的过程完美匹配。

0

值得一提的是,Sora Opera还具备为损坏的AI视频重新配音的能力,可以产生出魔幻般的效果。此外,它还专门针对绿幕制作的素材进行了训练,能够根据画面中的人物状态和动作以及道具进行精准的卡点配音。同时,它还考虑了声音可能形成的声源以及额外的同声源数据,为视频配音提供了更多可能性。

尽管市面上已有多种文生视频工具,但大多数版本的片段都是静音的,为视频配乐仍是一个亟待解决的问题。然而,随着AI音乐领域研究的不断深入,我们相信未来将有更多优秀的音乐生成器涌现出来。

天图万境作为一家业务范围广泛的公司,Sora Opera只是他们互动影游业务开发过程中的一个副产品。然而,这个副产品却展现出了强大的技术实力和市场潜力。去年底,天图万境完成了一款名为“超感影游”的产品制作,该产品利用AI在剧本、原画、动画、配乐等全场景参与制作,大大提高了制作效率。目前,单款剧本的制作周期已经缩短至19天。

这种多人互动产品利用AI生成多线分支的剧本,使每位参与者的选择都能引导游戏走向不同的剧情分支。与现有的狼人杀、剧本杀等产品相比,超感影游具备更稳定的体验和不依赖真人主持的优势。而Sora Opera则为超感影游提供了专业级生产保障,为其音效和配乐提供了强大的支持。

目前,天图万境已经通过Sora Opera生产了多款超感影游作品,如《命运之海》《幽灵堡垒》《太阳神诅咒》《凡尘》《主角学院》等。这些作品不仅展示了Sora Opera的强大功能,也让我们看到了天图万境在互动影游领域的深厚实力。

641(3)

Sora Opera作为一款新兴的音频生成工具,在文生视频和配乐方面展现出了强大的实力。随着其功能的不断完善和优化,相信它将在未来为视频制作领域带来更多的创新和惊喜。同时,我们也期待天图万境能够继续发挥其在互动影游领域的优势,为我们带来更多优质的作品。

文章来源:https://new.qq.com/rain/a/20240313A06CI600
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消