Kling AI剛剛發布了其新的Kling 2.0模型,並對圖像轉影片和文字轉影片進行了改進。尤其是Kling 2.0 ,其動態、動態的提示和影像效果更佳,可以製作出更精彩的影片。讓我們來了解Kling 2.0的新功能以及如何充分利用您的代幣。
Kling 2.0入門
首先,讓我們來談談使用新的Kling 2.0模型可以做些什麼。

目前,KlingAI 透過Kling 2.0支援文字轉影片和圖像轉影片選項。當然,您可以使用任何您喜歡的圖像,包括生成的圖像;我的範例使用了用Flux製作的圖像。您還會注意到“多元素”選項,它允許您交換、添加或刪除影片剪輯中的部分。

您所要做的就是在影片的某些時間暫停,添加您想要編輯的部分(在本例中,我正在交換), Kling AI將為您處理剩下的工作。

您還需要在所選的不同區域新增點以改善結果。一般來說,增加的點越多,AI 追蹤和掩蓋動作的能力就越強。我在這個選擇中添加了不少點,因為人體運動很複雜,有很多活動部件。
但你還沒完成。當參考具有特別複雜動作(例如舞蹈)的影片時,僅透過向一幀添加選擇將無法獲得最佳效果。

不過,如果你的影片沒有太多動作,那你很幸運。您不需要添加那麼多面具就能獲得不錯的效果。在這個例子中,我在視訊時間軸中只有兩個面具,但我仍然設法獲得相當一致的結果,因為移動相對簡單且相機移動得不那麼多。

Kling 2.0與WAN 2.1
我之前提到過, Kling 2.0可以讓你創建非常類似於 WAN 2.1 VACE 的視頻,後者是一種開源模型。雖然在電腦上本地運行免費的 AI 模型很不錯,但大多數用戶受到硬體的限制。除非您擁有適用於 AI 模型的頂級 GPU(例如 H100),否則您可能無法獲得最佳結果。即使是 4090 和 5090 這樣的旗艦消費級 GPU 也難以匹敵透過Kling 2.0等高階機型產生的視訊品質。
為了展示 WAN 2.1 VACE 和Kling 2.0的不同性能,我使用了相同的圖像和相同的提示,並將它們轉換為圖像到視訊。結果非常非常顯著。

我在兩個模型中都使用了仙女製作生日蛋糕的圖像。使用 WAN 2.1 時,影片相當陳舊。仙女們大多靜止不動,影片中唯一真正的動作來自漂浮在蛋糕上方的魔法泡泡。這不完全是一個動態場景。
另一方面, Kling 2.0的視訊動作場面更加豐富。中間的小仙女繞著蛋糕跑來跑去,魔杖裡飛出魔法效果,蛋糕本身也變得更大了。它看起來比 WAN 2.1 的結果好得多。事實上, Kling 2.0處理快節奏場景的能力比其前身Kling 1.6 更勝一籌。
Kling 2.0與Kling 1.6
在下一個例子中,我讓Kling 2.0產生兩個女性角色之間的打鬥場景。拍攝出的影片中有複雜的武術動作,以及快速移動的鏡頭圍繞著兩人打架的畫面。還有許多粒子效果為場景增添了額外的魅力。
另一方面, Kling 1.6 難以跟上Kling 2.0的步伐。即使有相同的角色和提示, Kling 1.6 的影片也要慢得多,幾乎沒有任何攝影機移動。當使用動作場景和提示將 Kling 2.0 與Kling 1.6 進行比較時,您可以真正看到Kling 2.0的改進。
Kling 2.0的怪癖
不過, Kling 2.0確實有其怪癖。當我嘗試對我的提示進行過於具體的說明時,模型實際上並不能很好地處理它。這段拍攝一名女子駕駛水上摩托車的影片看起來不太對勁,因為女子的頭是向後轉的。
如果您想要獲得自然的結果,您需要保持提示簡單。使用簡化的提示,我在這裡得到了更好的結果。這也是一個很好的時機來提及, Kling 2.0可以很好地處理水,具有逼真的波浪和水花。
只要你的提示保持簡單,你也可以讓影片中的角色做一些有趣的事情,例如將焦點從相機上移開。
影片的第一幀顯示,該女子看著鏡頭,但隨著影片的繼續,她開車離開,並將頭轉向了路面。這看起來比 WAN 2.1 版本的相同提示更加真實;雖然開源模型可以很好地處理反射和燈光,但駕駛摩托車的女人並沒有太多的動作。