Runway唇形同步

Runway Lip Sync 是Runway的一項功能，可同步其音訊剪輯或文字腳本的演講以匹配任何角色的面部表情。這使得您能夠創建人物對話或交流的逼真且引人入勝的視覺序列。它與Runway 的Act One功能類似，但後者功能更強大且適用於高級用例。

影像轉視頻

文生視頻

API

Runway Lip Sync 的主要特點

文字轉語音：您可以輸入帶有說話者對話的腳本供角色使用。
與音訊同步：上傳最多 40 秒的錄製對話檔。
多面場景：選擇最多 10 個角色進行單獨的對話。
風格化演講：存取自訂 AI 語音模型以實現多樣化的音訊效果。

文字轉語音

Runway Lip Sync 支援每個說話者對話最多 600 個字元的文字轉語音腳本。這使您可以完全自由地寫出符合您的精確需求和要求的獨特角色對話。

以下是一些口型同步的文字轉語音視訊範例：

影像	文字腳本	輸出影片
	我希望你們今天都過得很愉快。能有這樣的交流機會真是太棒了。
	嘿，傑米！你周末有什麼計畫嗎？

與上傳的音訊同步

使用Runway Lip Sync，您可以錄製自己或他人的音頻，並上傳現有的音訊檔案作為角色對話。該工具允許最多 40 秒的語音，並可以選擇在最終結果之前預覽其聲音。

多面場景

您可以使用Runway Lip Sync 為多個角色建立對話場景，從而輕鬆建立複雜的場景。該工具允許您每個影片上傳最多 10 個對話，為您提供了很大的發揮創意的空間。

影像

文字腳本

輸出影片

角色1：

今天，我們將推出一項旨在加強社區參與的新措施。

角色2：

這項倡議不僅僅是一個項目；這是我們所有人共同合作和創新的機會。

角色3：

我們仔細分析了社區的需求，並制定了有效滿足這些需求的計畫。

角色4：

我們的目標是創建一個促進所有參與者之間溝通和聯繫的平台。

風格化演講

您可以透過Runway Lip Sync 存取多個自訂 AI 語音模型，每個模型都提供不同的語言細微差別供您選擇。您甚至可以選擇不同情緒和場景（如冥想、敘述、對話等）的男聲或女聲。

關於Runway Lip Sync 的YouTube視頻

Reddit上人們談論Runway Lip Sync 的情況

一些用戶已經實施了Runway Lip Sync，並且取得了相當令人印象深刻的效果，但顯然該工具仍需要一些改進。

評論
來自u/Paul-Montreal的討論
在runwayml

一些用戶遇到的主要問題之一是讓Runway Lip Sync 與非人類角色一起使用。

評論
來自u/dietpapita的討論
在runwayml

其他用戶則利用 Runway 的影片到影片功能解決了這個問題，試圖將角色影片轉換為真人動作，以獲得更好的效果。

評論
來自u/Initial_Simple780的討論
在runwayml

人們在談論 X 上的Runway Lip Sync

# Runway Gen-1 + Lip Sync（現在向所有人開放！）

一個實驗🧵

我想看看 Lip Sync 在風格化的 Gen-1 剪輯上的效果如何。因此我上傳了一段質量不錯的視頻，其中的拍攝主題清晰可見。

這是最初的輸入視頻，唇形同步不起作用…… pic.twitter.com/faJ0nAmWhS
— 🍥 Timmy 🍥 (@IXITimmyIXI) 2024 年 3 月 22 日

📼 逼真的口型同步已經出現在Runway上，這太瘋狂了。 🤯

這實際上是 Act-One 功能的更新，但您可以上傳任何視頻，而不僅僅是服務內生成的視頻。

工作原理：

🟡 我們上傳了你對著鏡頭說話（甚至唱歌）的影片… pic.twitter.com/Il6CsVrgz0
— Javaid Shah（@JvShah124） 2024 年 12 月 8 日

遊戲結束！ Runway剛剛推出了Act One，以瘋狂的品質和無縫的工作流程將口型同步 AI 提升到一個新的水平。讓角色栩栩如生從未如此簡單。

這是一部名為「崛起或衰落」的短片。

下面我將解釋如何做到這一點。 @runwayml pic.twitter.com/KCAuXbNeIr
— Ben Nash (@bennash) 2024 年 10 月 25 日

我想嘗試Runway和他們的口型同步，所以我創建了這個 MJ 形象並親自講述了這個短片。我不太喜歡 AI 聲音。
有趣的過程。 #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
— ZOOT (@LittleTinRobot) 2024 年 6 月 30 日