Runway唇形同步

Runway Lip Sync 是Runway的一项功能，可以同步音频剪辑或文本脚本的演讲以匹配任何角色的面部表情。这使您能够创建逼真且引人入胜的角色说话或交谈的视觉序列。它类似于Runway 的Act One功能，但后者功能更强大，适用于高级用例。

图生视频

文生视频

API

Runway Lip Sync 的主要特点

文本转语音：您可以输入带有说话人对话的脚本供角色使用。
与音频同步：上传最多 40 秒的录制对话文件。
多面场景：选择最多 10 个角色进行单独的对话。
风格化演讲：访问自定义 AI 语音模型以实现多样化的音频效果。

文字转语音

Runway Lip Sync 支持每个说话者对话最多 600 个字符的文本转语音脚本。这让您可以完全自由地编写出符合您确切需求和要求的独特角色对话。

以下是一些口型同步的文本转语音视频示例：

图像	文本脚本	输出视频
	希望大家今天过得愉快。能有这样的机会交流真是太棒了。
	嘿，杰米！你周末有什么计划吗？

与上传的音频同步

使用Runway Lip Sync，您可以录制自己或他人的对话，然后上传现有音频文件以用作角色对话。该工具最多可录制 40 秒的对话，并可选择在最终结果之前预览其声音。

多面场景

您可以使用Runway Lip Sync 为多个角色创建对话场景，从而轻松创建复杂场景。该工具允许您在每个视频中上传最多 10 个对话，为您提供了很大的创作空间。

图像

文本脚本

输出视频

角色1：

今天，我们将推出一项旨在加强社区参与的新举措。

角色2：

这项计划不仅仅是一个项目；它也是我们所有人共同合作和创新的机会。

角色3：

我们仔细分析了社区的需求，并制定了有效满足这些需求的计划。

角色4：

我们的目标是创建一个促进所有参与者之间沟通和联系的平台。

风格化演讲

您可以使用Runway Lip Sync 访问多个自定义 AI 语音模型，每个模型都提供不同的语言细微差别供您选择。您甚至可以选择不同情绪和设置（例如冥想、叙述、对话等）中的男性或女性声音。

关于Runway Lip Sync 的YouTube视频

Reddit上人们谈论Runway Lip Sync 的情况

一些用户已经实施了Runway Lip Sync，并取得了相当令人印象深刻的效果，但显然该工具仍需要一些改进。

评论
来自u/Paul-Montreal的讨论
在runwayml

一些用户遇到的主要问题之一是让Runway Lip Sync 与非人类角色配合使用。

评论
来自u/dietpapita的讨论
在runwayml

其他用户利用 Runway 的视频到视频功能解决了这个问题，试图将角色视频转换为真人动作，以获得更好的效果。

评论
来自u/Initial_Simple780的讨论
在runwayml

人们在谈论 X 上的Runway Lip Sync

# Runway Gen-1 + Lip Sync（现在向所有人开放！）

一个实验🧵

我想看看 Lip Sync 对风格化的 Gen-1 剪辑的效果如何。所以我上传了一段质量不错的视频，其中的拍摄对象清晰可见。

这是最初的输入视频，唇形同步不起作用…… pic.twitter.com/faJ0nAmWhS
— 🍥 Timmy 🍥 (@IXITimmyIXI) 2024 年 3 月 22 日

📼 逼真的口型同步已登陆Runway ，这太疯狂了。🤯

这实际上是 Act-One 功能的更新，但您可以上传任何视频，而不仅仅是服务内生成的视频。

工作原理：

🟡 我们上传了你对着镜头说话（甚至唱歌）的视频…… pic.twitter.com/Il6CsVrgz0
- Javaid Shah (@JvShah124) 2024 年 12 月 8 日

游戏结束了！ Runway刚刚发布了Act One，将口型同步 AI 提升到了一个新的水平，具有惊人的质量和无缝的工作流程。让角色栩栩如生从未如此简单。

这是一部名为“崛起或衰落”的短片。

我将在下面解释如何做到这一点。 @runwayml pic.twitter.com/KCAuXbNeIr
— 本·纳什 (@bennash) 2024 年 10 月 25 日

我想尝试一下Runway和他们的口型同步，所以我创建了这个 MJ 形象并亲自讲述了这个短片。我不太喜欢人工智能的声音。
有趣的过程。 #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
— ZOOT (@LittleTinRobot) 2024 年 6 月 30 日