Kling AI唇形同步

Kling AI Lip Sync 是Kling AI推出的一项功能，通过将上传的语音文本或音频与生成的视频片段进行匹配，创建逼真的口型同步视频。它会分析视频中的面部特征和嘴部动作，然后将其与文本或音频文件同步。

图生视频

文生视频

Kling AI Lip Sync 的主要功能

逼真的唇形同步：准确、逼真的唇部动作
文本到语音视频生成：生成与输入的文本同步的视频
配有音频文件的对口型视频：上传音频文件来为口型同步视频配音

KLING AI 再次升级！🎶
🎤Lip Sync 现已上线，完全集成到Kling 1.0 和Kling 1.5 型号中！👄
🎁 Kling社区，释放你的创造力！分享你的杰作，有机会获得 666 个灵感积分！
🎊 API 平台现已可用...... pic.twitter.com/HFsCJ8sYWl
— Kling AI (@Kling_ai) 2024 年 10 月 1 日

逼真的唇形同步

该技术分析预渲染视频片段中的面部特征和嘴部动作，然后将其与上传的音频文件同步，以创建高度精准的口型同步视频。

口型同步样本

文本到语音视频生成

Kling AI Lip Sync 功能可让您生成与输入文本同步的口型视频。您可以输入视频角色要说的任何内容， Kling AI将同步嘴部动作以匹配文本内容，并使用他们的 AI 声音生成语音音轨

原始图像	演讲文本	输出口型同步视频
	大家好！让我们以积极和有目标的态度迎接今天。携手共进，我们一定能成就伟业！

高度可定制的文本转语音

Kling AI 的 Lip Sync 的文本转语音视频功能提供了许多自定义选项，可根据您的要求生成语音视频。这些选项包括：

约 27 个声音
语速：0.8X 至 2X
言语情绪，如高兴、愤怒、悲伤、恐惧等……

口型同步视频配上音频文件

除了文字，你还可以上传音频文件来为Kling AI生成的口型同步视频配音。用户可以上传各种类型的音频，包括真实录音，或 AI 生成的语音来为视频配音。

关于Kling AI Lip Sync 的YouTube视频

Reddit上人们谈论Kling AI Lip Sync 的情况

尽管这一创新功能备受关注，但许多用户在使用 Lip Sync 时也遇到了麻烦。

一款新的 AI 口型同步器问世了……来自Kling！
由u/Philipp在aivideo上发布

Lip Sync 现已在 kling 上推出
由u/GraceToSentience在singularity发布

无法在Kling中上传用于唇形同步的视频 - 还有其他人遇到这个问题吗？
通过u/AppearanceExpress117在KlingAI_Videos中

人们在谈论 X 上的Kling AI Lip Sync

2025年拉开革命序幕——KLING AI 1.6来了！

KOLORS 1.5：以令人惊叹的视觉效果重新定义创造力。

增强的唇形同步：现在具有动态情感和新鲜声音。

结束帧魔法：实现无缝、完美的故事叙述。

实时渲染：更智能…… pic.twitter.com/yzuhr9EaM8
— The AI Colony (@TheAIColony) 2024 年 12 月 30 日

使用Kling AI视频作为源看起来更好，因为Kling AI生成的视频更接近真实。

因此，目前完全 AI 唇形同步的最佳方法是：

Kling AI 1.5 作为源视频， Runway Act-One 作为 Lip-Sync。

你怎么看？还有更好的选择吗？ pic.twitter.com/sM0lj1Ogcf
— Halim Alrasihi (@HalimAlrasihi) 2024 年 12 月 12 日