Meta刚刚宣布扩展其AI产品,推出新的翻译和配音功能,适用于Facebook和Instagram上的Reels,能够自动在英语和西班牙语之间进行翻译,克隆创作者的声音并同步音频与唇部动作。
创作者可以在发布前选择“使用Meta AI翻译声音”来激活该功能,并预览配音版本。翻译后的Reels会被标记为AI生成,并展示给偏好翻译语言的用户。
更广泛的AI推动的一部分
此更新发布之际,Meta继续在AI产品上进行大量投资。在其Meta Connect 2024活动中,公司展示了配音功能以及其他创作者工具,包括AI生成的背景和滤镜。新的配音功能展示了Meta将AI直接嵌入创作工作流程的策略,降低了创作者想要跨语言接触观众的障碍。
Meta已经建立了多个大规模的语言计划。其在2023年推出的SeamlessM4T模型支持近100种语言的语音到文本和语音到语音翻译。公司还启动了“无语言被遗忘”项目,这是一个开源项目,提供超过200种语言的高质量翻译。新的配音功能将范围缩小到一个高影响力的配对——英语和西班牙语——需求最强的地方。
Meta的说法
“我们正在测试一个Meta AI翻译工具,它将自动翻译Reels的音频,让更多人享受您的内容,即使您说不同的语言。”Meta在Connect 2024介绍这项技术时写道。
2025年2月,Meta通过启动语言技术合作伙伴计划重申了其长期承诺。
“我们正在寻找合作伙伴,与我们合作推进和拓宽Meta的开源语言技术,包括AI翻译技术。”公司表示。“我们的努力特别关注服务不足的语言,以支持联合国教科文组织的工作。”
这对创作者意味着什么
对于创作者来说,这个工具提供了一个无需成本的替代方案,代替专业配音或字幕服务。到目前为止,希望接触西班牙语观众的美国创作者可能需要雇用翻译或依赖字幕。自动配音允许他们在不增加制作成本的情况下将相同内容分发到新地区。
在Instagram上,Reels与TikTok视频争夺注意力,能够直接用观众偏好的语言交流——即使通过AI——可能会提高参与度指标,如观看时间、分享和关注。对于拥有大量粉丝的Facebook创作者,该功能在拉丁美洲和美国双语社区中开辟了机会。
企业和营销影响
该工具的影响不仅限于个人创作者。品牌可以使用AI配音大规模本地化产品活动、影响者合作和短视频广告。公司可以发布一个版本的活动,让Meta的AI处理翻译和配音,而不是制作多个版本。
这减少了全球营销策略的上市时间,并可能帮助Meta将其平台定位为对国际广告商更具竞争力。此举与Meta更广泛的尝试保持创作者和品牌直接为Instagram和Facebook制作内容,而不是外包给其他平台相一致。
风险和限制
与任何AI系统一样,风险依然存在。翻译准确性无法保证——习语和文化细微差别可能会丢失或扭曲。唇同步在某些情况下可能显得不自然,可能会分散观众的注意力。
语音克隆也引发了伦理问题。Meta表示视频将带有AI翻译披露,但创作者和观众可能仍然担心同意、滥用或深度伪造操控的可能性。目前,创作者必须手动选择加入,这可能有助于减轻意外使用。
该功能也仅限于英语和西班牙语,忽略了其他主要创作语言。扩展语言支持对于Meta扩大采用至关重要。
接下来要关注什么
Meta已经明确表示这只是个开始。未来的更新可能会将配音扩展到其他语言,并与其他产品集成,例如Ray-Ban Meta智能眼镜,后者已经在更个人化的环境中提供实时翻译。
另一个悬而未决的问题是Meta是否会将这项技术作为API开放给企业、学校或企业在Reels之外使用。这可能使Meta与提供企业级配音和本地化服务的初创公司更具竞争力。