Lip Sync 功能是對流行的Runway AI視訊生成模型的有用補充。它用於將人工智慧視訊中的角色或人類主體的嘴唇動作與語音音訊同步,並提供了許多實用性。但是,由於這是一個相當新的功能,許多用戶不確定它是如何運作的。本指南探討如何以簡單的方式使用 Runway 的唇形同步功能。
Runway AI 的唇形同步是什麼?
顧名思義,唇形同步是一種將語音音訊與 AI 視訊中角色的嘴唇動作同步的功能。換句話說,您可以使用它來製作人工智能視頻,其中角色真實地移動他們的嘴和臉以匹配文本腳本,您可以在提示中編寫該文本腳本或作為單獨的音頻文件上傳。
它的用途是深遠的。例如,創作者可以使用唇形同步來創造角色相互對話、朗讀演講或發表聲明的逼真場景。這為內容類型(例如電影和電視風格的內容)開闢了新的機會,理論上您可以使用Runway AI來製作這些內容。
如何在Runway AI中使用唇形同步
現在您已經了解了唇形同步功能的全部內容,讓我們看看如何使用它。這是一個簡單的分步指南,並配有螢幕截圖,向您展示如何使用 Lip Sync 製作具有完美同步音訊的 AI 影片。
第 1 步:存取唇形同步工具
第一步很簡單。如果您想使用唇形同步工具,您需要在“Runway 的 AI 工具”清單下點擊並選擇“唇形同步影片”,您可以在Runway儀表板上找到該工具。
步驟 2. 新增影片或影像
接下來,您需要一個圖像或影片作為最終創作的基線。您可以拖放或點擊上傳任何支援格式的影片或圖像。如果您使用視頻,請確保您想要看到說話的角色出現在第一幀中。
步驟 3. 選擇您的揚聲器
將圖像或影片載入到Runway後,它會嘗試自動偵測發言者的臉部。大多數情況下,識別圖像中的關鍵人物應該沒有問題,但如果您上傳的圖像中有多人或人物不清晰,則可能會很困難。如果發生這種情況,您可以自行點擊圖像並將該方塊拖曳到揚聲器的表面。
步驟 4. 選擇聲音
點擊揚聲器旁邊的麥克風圖示為其選擇聲音。 Runway為您提供了一大堆不同的語音選項,您可以透過按小「播放」按鈕來預覽每個選項。然後,當您找到所需的一個時,請按一下將其選取。
步驟 5. 輸入您的腳本或上傳您的音頻
接下來,您需要實際告訴工具您希望演講者說什麼。為此,您有兩種選擇。您可以單擊揚聲器旁邊的文字框,然後輸入您想讓他們說的話。或者,您可以上傳已包含您想在最終影片中聽到的演講錄音的音訊檔案。
步驟 6.(選購)新增其他揚聲器
對於您可能希望多人在影片中發言的情況,這是一個可選步驟。您可以單擊會話視窗底部的「新增發言者」按鈕以新增每個發言者,然後按一下每個發言者的個人資料圖標,將其與影片中偵測到的其中一個臉孔之一進行配對。然後,輸入您的腳本或上傳您想聽的音訊。
步驟 7. 點選「生成」按鈕
添加完所有所需的對話方塊後,您只需按頁面底部的「產生」按鈕,然後稍等片刻, Runway就會製作您的影片。然後您可以查看、儲存並分享。
此外,請注意,您還可以將唇形同步添加到使用所有不同Runway模型(例如Gen-2、Gen-3 和Gen-3 Alpha Turbo)製作的 AI 生成的影片中。您只需製作視頻,然後單擊“操作”,然後單擊“唇形同步”。
在Runway上使用唇形同步的最佳實踐
Runway中的唇形同步功能非常有用且使用起來很有趣,但它並不完美。如果您想透過此功能獲得最佳結果,則需要遵循某些建議的最佳實踐,如下所示:
- 如果您使用任何上傳的語音文件,請將其時間控制在最多 40 秒。
- 讓你的角色面向前方,朝向鏡頭。
- 僅使用人臉- 將來可能會添加動物,但目前還無法使用。
- 讓角色的頭部和肩膀出現在鏡頭中,不要過度放大或縮小。
- 選擇逼真的角色風格,而不是動畫或卡通風格。
- 避免身體、手或相機的過度移動。
- 保持 AI 影片中的光照一致。
- 避免任何中斷音訊/語音串流的快速切換或過渡。
- 確保您使用受支援的音訊和視訊檔案類型。
- 嘗試在畫面中只使用一個角色-對於多張臉來說效果不太好。
立即使用Pollo AI嘗試Runway AI 的 Lip Sync
如果您想測試Runway Lip Sync 功能,您可以在Pollo AI上輕鬆免費地完成! Pollo AI是一款領先的 AI 視訊產生器,可讓您存取一系列 AI 視訊生成模型,包括Runway 的 Gen 2 、 Gen 3 Alpha和Turbo 、 Hailuo AI和Luma AI等。它還提供了一系列工具和優勢,例如用於製作人工智慧接吻影片的模板。 您可以使用Pollo AI在一處免費測試所有這些功能。