唇形同步功能是流行的Runway AI视频生成模型的一个有用补充。它用于将 AI 视频中角色或人类主体的唇形动作与语音音频同步,并且提供了很多实用功能。但是,由于这是一个相当新的功能,许多用户不确定它是如何工作的。本指南探讨了如何以简单的方式使用 Runway 的唇形同步功能。
Runway AI 的 Lip Sync 是什么?
顾名思义,唇形同步是一种将语音音频与 AI 视频中角色的唇部动作同步的功能。换句话说,您可以使用它来制作 AI 视频,其中角色会逼真地移动嘴部和面部以匹配文本脚本,您可以在提示中编写该脚本,也可以将其作为单独的音频文件上传。
这项技术的用途十分广泛。例如,创作者可以使用 Lip Sync 来创建人物之间进行对话、朗读演讲或发表声明的逼真场景。这为内容类型(例如电影和电视风格的内容)开辟了新的机会,理论上您可以使用Runway AI制作这些内容。
如何在Runway AI中使用唇形同步
现在您已经了解了 Lip Sync 功能的全部含义,让我们来看看如何使用它。下面是一个简单的分步指南,并附有屏幕截图,向您展示如何使用 Lip Sync 制作具有完美同步音频的 AI 视频。
步骤 1. 访问唇形同步工具
第一步很简单。如果你想使用 Lip Sync 工具,你需要在Runway仪表板上的“Runway 的 AI 工具”列表下单击并选择“Lip Sync Video”。
第 2 步:添加视频或图像
接下来,您需要一张图片或视频作为最终创作的基准。您可以通过拖放或点击上传任何受支持格式的视频或图片。如果您使用视频,请确保您想要看到说话的角色出现在第一帧中。
步骤 3. 选择扬声器
图像或视频加载到Runway后,它会尝试自动检测扬声器的脸部。大多数情况下,它应该可以轻松识别图像中的关键人物,但如果您上传的图像中有多个人物或人物不清晰,它可能会遇到困难。如果发生这种情况,您可以自己点击图像并将框拖到扬声器的脸上。
步骤 4. 选择声音
点击扬声器旁边的麦克风图标,为其选择声音Runway为您提供了一大堆不同的声音选项,您可以按小“播放”按钮预览每个选项。然后,当您找到所需的声音时,单击以选择它。
步骤5.输入脚本或上传音频
接下来,你需要告诉工具你希望演讲者说些什么。你有两个选择。你可以点击演讲者旁边的文本框,输入你想让他们说的话。或者你可以上传一个音频文件,该文件已经录制了你想在最终视频中听到的演讲内容。
步骤 6.(可选)添加其他扬声器
如果您希望多个人在视频中发言,则此步骤是可选的。您可以点击会话窗口底部的“添加发言者”按钮添加每个发言者,然后点击每个发言者的个人资料图标,将其与视频中检测到的其中一个面孔进行匹配。然后,输入脚本或上传您想听的音频。
步骤 7. 单击生成按钮
添加完所有想要的对话后,只需按下页面底部的“生成”按钮,然后等待Runway制作视频。然后,您就可以查看、保存和分享它。
此外,请注意,您还可以将唇形同步添加到使用所有不同Runway模型(如Gen-2、Gen-3 和Gen-3 Alpha Turbo)制作的 AI 生成视频中。您只需制作视频,然后单击“操作”,然后单击“唇形同步”。
在Runway中使用唇形同步的最佳实践
Runway中的 Lip Sync 功能非常有用且好用,但它并不完美。如果您想使用此功能获得最佳效果,则需要遵循一些推荐的最佳做法,如下所示:
- 如果您使用任何上传的语音文件,请将其最长保持在 40 秒内。
- 让你的角色面朝前方,面向镜头。
- 仅使用人脸——将来可能会添加动物,但目前还不起作用。
- 让角色的头部和肩部出现在镜头中,不要太放大或太缩小。
- 选择逼真的角色风格,而不是动画或卡通风格。
- 避免身体、手或相机过度移动。
- 保持 AI 视频中的灯光一致。
- 避免任何会打断音频/语音流程的快速切换或转换。
- 确保您使用受支持的音频和视频文件类型。
- 尝试坚持在画面中的一个角色——对于多个面孔,效果不太好。
立即使用Pollo AI尝试Runway AI 的 Lip Sync
如果您想测试Runway Lip Sync 功能,您可以在Pollo AI上轻松免费地进行测试! Pollo AI是一款领先的 AI 视频生成器,可让您访问一系列 AI 视频生成模型,包括Runway 的 Gen 2 、 Gen 3 Alpha和Turbo 、 Hailuo AI和Luma AI以及其他模型。它还提供一系列工具和优势,例如用于制作 AI 接吻视频的模板。您可以使用Pollo AI一站式免费测试所有这些功能。