首頁/部落格/操作方法/Seedance 2.0:人人都是導演的時代,一本完整的實作指南

Seedance 2.0:人人都是導演的時代,一本完整的實作指南

過去幾天,位元組跳動的AI視訊模型Seedance 2.0徹底席捲了網路。

現在到處都是用 Seedance 2.0 產生的影片。

人們正利用它製作電影等級的追逐戲。其他人則用它來重現通常在大製作廣告中才能看到的電影級鏡頭運動。甚至有人把它拍成了時代劇、穿越劇或純粹的武術動作片——這些鏡頭如此清晰細膩,以至於你很難分辨它們究竟是人工智慧生成的,還是由真人演員拍攝的。

說實話,這絕非誇張。

透過此次更新,Seedance 2.0 基本上將人工智慧影片創作的門檻降到了最低。

話不多說,讓我們先來看一段簡短的蒙太奇 ↓

那麼……看起來怎麼樣呢?

為什麼它能如此迅速地爆紅?因為它終於解決了困擾創作者多年的一個難題:人工智慧影片過去專注於內容生成,而現在,它關注的是內容控制。

自由混合圖像、視訊、音訊和文字——任何人都可以執導。

Seedance 2.0 的多模態創作

這一次,情況有所不同。

Seedance 2.0 不再只是一個文字轉影片工具,它已經發展成為一個真正的多模態影片創作平台,能夠理解創作意圖。

你可以同時輸入圖片、影片片段、音訊和文字。你只要告訴它每種素材的作用,它就會將所有素材融合在一起,製作成一個完整的影片。

聽起來有點抽象?沒關係。

我會一步一步地講解每個功能和工作流程,並向你展示人們究竟是如何使用它的。

首先,Seedance 2.0 究竟能做什麼?

Seedance 2.0 的核心在於一項關鍵升級:多模態。

早期的AI 視訊模型,你的輸入選項通常僅限於兩件事:要么編寫文字提示,要么上傳單個第一幀圖像。

如果你想控制鏡頭運動、臉部表情或背景音樂節奏,一切都必須透過文字來表達。而最終效果如何,幾乎完全取決於你寫提示的能力。

Seedance 2.0 透過將輸入擴展到四種不同的模式來改變這一點。

圖片

您最多可以上傳 9 張圖片。這些圖片可以用來展示角色外觀、場景風格、服裝細節、產品圖片,甚至是分鏡圖。

影片

您最多可以上傳 3 個影片片段,總長度不超過 15 秒。模型可以從這些片段中學習鏡頭運動、動作節奏和轉場風格。實際上,這相當於給了模型一個視覺樣本來學習。

聲音的

支援上傳MP3文件,最多3個,總時長不超過15秒。您可以指定背景音樂、音效樣式,甚至可以參考其他影片的旁白語氣。

文字

您只需輸入標準自然語言,即可描述您想要的視覺效果、動作和節奏。

四種輸入方式均可自由組合。所有方式上傳的檔案總數上限為 12 個。

生成的影片最長可達15秒。您可以選擇4到15秒之間的任意時長,輸出影片內建音效和背景音樂。

簡而言之,你終於可以像真正的電影製作人一樣指導人工智慧了:

  • 圖片定義了視覺風格。
  • 影片定義了運動。
  • 音訊定義了節奏。
  • 文字講述故事。

Seedance 2.0 輸入輸出規格

範圍描述
影像輸入最多 9 張圖片
視訊輸入最多 3 個影片片段,總長度不超過 15 秒。
音訊輸入支援 MP3 格式,最多 3 個文件,總長度不超過 15 秒。
文字輸入自然語言描述(支援英語和中文)
輸出持續時間4到15秒
音訊輸出內建音效和背景音樂
文件總數限制所有上傳資料最多只能包含 12 個檔案。

開始之前的小提示:更多的參考資料並不總是能帶來更好的結果。

優先上傳對視覺效果或節奏影響最大的素材,合理分配上傳名額。

Seedance 2.0 提示的參數

使用方法:逐步指南

第一步:選擇合適的切入點

打開智夢,找到 Seedance 2.0。

您可以透過集萌平台存取 Seedance 2.0。不久後,它也將在Pollo AI 的圖像轉影片頁面上線。

你會看到兩個不同的入口。

  • 首幀和末幀:當您僅上傳單個首幀圖像以及文字提示時,請使用此選項。
  • 一體化參考:當您需要多模態輸入(例如圖像、視訊、音訊和文字的組合)時,請使用此選項。

如何決定使用哪個選項?遵循一個簡單的規則:如果您的素材只有一張圖片和一段文字,請選擇“首尾幀”;如果您有多張圖片,或者涉及視頻或音頻,請選擇“一體化參考”。

大多數情況下,一體化參考標準是更佳選擇。它支援所有類型的參考輸入,也是 Seedance 2.0 全面展現其最新功能的理想選擇。

Seedance 2.0 的提示圖片

第二步:上傳您的素材

點選上傳按鈕,從本機裝置選擇檔案。圖片、影片和音訊檔案都可以直接拖入。上傳完成後,所有素材都會顯示在輸入區域。您可以將滑鼠懸停在每個文件上預覽其內容。

上傳前的小提示:請仔細考慮哪些素材最重要。您最多可以上傳 12 個文件,因此請優先上傳對視覺風格和節奏影響最大的文件。

Seedance 2.0 模型的可能操作

步驟 3. 使用「@」符號為每個資產分配角色(最重要的一步)

這是 Seedance 2.0 的核心交互,也是許多初學者容易忽略的部分。

上傳資源後,您需要在提示訊息中使用 `@資源名稱` 明確告訴模型每個資源的用途。模型不會自動猜測。如果您沒有清楚地說明,模型可能會錯誤地使用資源。

例如:

  • @圖片 1 作為第一幀
  • @視訊1作為攝影機參考
  • @音訊 1 用於背景音樂

如何觸發“@”

方法一

直接在輸入框中輸入“@”符號。此時將顯示所有已上傳資源的清單。點擊您想要引用的資源,它將被插入到提示符號中。

Labubu駕駛的是小米SU7

方法二

點選輸入框旁的參數工具列中的“@”按鈕。這將同時顯示資產清單。

Labubu 在 Seedance 2.0 中

正確使用“@”的範例

  • 指定首幀和引用:將 @Image 1 設為首幀,引用 @Video 1 的攝影機語言,並使用 @Audio 1 作為背景音樂。
  • 明確角色定位:@Image 1 中的女性角色為主角,@Image 2 的男性角色為配角。
  • 指定攝影機運動參考:完全參考 @Video 1 中的所有攝影機運動和轉場。
  • 指定場景參考:使用 @Image 3 作為左側場景的參考,使用 @Image 4 作為右側場景的參考。
  • 指定動作參考:@Image 1 中的角色應參考 @Video 1 中的舞蹈動作。
  • 指定語音參考:旁白語音應參考@Video 1 中的語音語調。

需要警惕的常見陷阱

處理大量素材時,請務必仔細檢查每個“@”引用是否指向正確的檔案。如果將圖像引用為視頻,或者不小心將角色 A 的圖像分配給了角色 B,輸出結果很快就會變得混亂不堪。

您可以將滑鼠懸停在提示中引用的任何資源上進行預覽,並確保所有內容都已正確連結。

Seedance 2.0 中 Labubu 的提示圖片

第四步:撰寫清晰有效的提示語

使用“@”為所有資產分配角色後,剩下的就是用自然語言描述你想要的視覺效果和操作。

以下是撰寫更好題目的四個實用技巧。

如何寫出好的提示語

技巧一:依時間順序結構寫作

如果你的影片包含多個場景或敘事轉折,最好按時間順序分段描述。

例如:

0-3秒

男主角舉起手中的籃球,抬頭看向鏡頭,說道:“我只是想喝一杯。難道我真的要穿越時空了嗎?”

4-8秒

鏡頭突然劇烈晃動。畫面切換到古老宅邸,雨夜之中。身著傳統服飾的女主角冷冷地看向鏡頭。

9-13秒

鏡頭切換到一位身著明朝服飾的人物…

這種寫作方式有助於模型更準確地理解每個部分的節奏和內容。

建議二:明確區分“參考文獻”與“編輯”

這兩個概念並不相同。

「參考 @Video 1 的鏡頭運動」是指使用其鏡頭運動風格來產生新內容。

「將 @Video 1 中的女性角色替換為傳統歌劇演員」是指修改原始影片本身。

請明確說明您想要哪一個,以便模型能夠做出正確的反應。

技巧 3:使用相機語言時要具體明確

不用擔心寫太多。該模型現在對相機語言的理解能力非常強。

推拉、搖攝、追蹤、軌道滑軌、環繞拍攝、俯拍、低角度拍攝、一鏡到底、希區考克變焦、魚眼鏡頭。它理解所有這些專業術語。

如果您不熟悉技術術語,也沒關係。簡單的描述同樣有效,例如「鏡頭緩緩從角色身後移動到前方」。

技巧 4. 為連續動作加入過渡效果

如果你想讓角色執行一系列相互關聯的動作,一定要清楚描述動作之間的過渡。

例如,「角色直接從跳躍過渡到翻滾,保持動作的連貫性和流暢性。」這有助於避免最終影片中出現不自然的跳切。

步驟 5. 選擇持續時間並生成

選擇您需要的影片長度,介於 4 秒到 15 秒之間。

Seedance 2.0 的提示範例

重要提示:

如果您要延長現有視頻,例如在片段末尾添加五秒鐘,則此處選擇的持續時間僅指新生成的部分,而不是視頻的總長度。如果您想將影片延長五秒鐘,請選擇五秒。

然後點擊“生成”,等待結果。

如果您不滿意,可以多次產生。人工智慧的輸出結果具有一定的隨機性,因此即使輸入相同,每次產生的結果也可能略有不同。只需選擇您最喜歡的版本即可。

深入了解 Seedance 2.0 的核心功能

以下是 Seedance 2.0 的十大最強大功能。每項功能都附有實用的使用指南和真實案例。

功能一:視覺品質的重大飛躍

讓我們從基礎知識開始。

Seedance 2.0 進行了全面的底層升級。物理效果更精準,動作更流暢,場景的視覺風格也更一致。

影像生成最基本的層面已經發生了質的飛躍:

  • 更真實的物理效果:衣服的運動、水花飛濺和物體碰撞都表現得更自然。
  • 更流暢、更自然的動作:行走、跑步,甚至複雜的動作都不再顯得僵硬或機械。
  • 更準確的指令理解:如果你說“一個女孩優雅地晾衣服”,它就能真正理解“優雅地”的意思。
  • 更穩定的風格一致性:視覺風格從頭到尾保持連貫性,沒有突然的轉變。
    Seedance 2.0 的基礎

用法範例

一個女孩優雅地晾曬衣服。晾完一件後,她又從桶子裡拿出一件,用力抖了抖。

這在實踐中意味著什麼?

當你產生像「一個女孩優雅地晾曬衣服,然後從桶裡拿出另一件衣服用力抖動」這樣的場景時,布料的運動、她手臂的力量以及布料的質地都感覺非常接近真實影像。

更複雜的場景也完全可以實現。

鏡頭跟著一名身穿黑衣的男子高速奔跑。一群人從後方追趕。鏡頭切換到側視視角。驚慌失措之下,他撞到路邊的水果攤,摔倒在地,但很快又爬起來,繼續奔跑。

版本 2.0 現在可以一致地產生包含追逐場景、碰撞和動態攝影機切換的場景。

還有更極端的例子。有些創作者僅憑一個提示,就能讓畫中人物偷偷伸手去拿一罐可樂,喝了一口,聽到腳步聲後迅速放回原處,然後鏡頭切換到最後一個畫面,畫面逐漸拉近,最終定格在黑色背景上,只有可樂罐和藝術化的字幕。這種敘事複雜性在以前幾乎是不可想像的。

能力 2. 自由多式聯運

這是 2.0 版本中最重要的升級。現在您可以使用任何類型的材料作為參考。

公式可概括如下:

Seedance 2.0 = 多模態參考 + 強大的創意生成能力 + 精準的指令理解

您可以參考:

  • 動作、效果和視覺格式
  • 鏡頭運動與鏡頭語言
  • 角色形象與場景風格
  • 聲音和音樂節奏
自由多模式組合

實用技巧

你想做什麼如何撰寫提示
我有一個關鍵幀圖像,想將其與視頻運動關聯起來。 “以@Image 1 為關鍵幀,參考@Video 1 中的鏡頭抖動”
擴展現有視頻將影片 1 延長 5 秒(設定生成持續時間為 5 秒)
合併多個視頻“在@Video 1 和 @Video 2 之間插入一個場景,內容為xxx”
使用視頻中的音頻無需單獨上傳音頻,直接引用視頻即可。
持續行動“角色從跳躍直接過渡到翻滾,保持動作流暢連貫。”

能力3:一致性顯著提高

任何接觸過人工智慧影片的人都知道,一致性是最令人沮喪的問題。

鏡頭切換時人物臉部變化,角度改變時產品細節消失,場景風格也突然跳躍。

2.0 版本認真致力於解決這個問題。

上傳人物參考圖片後,人物的外觀、服裝和姿勢在整個影片中保持一致。產品展示也是如此。從多個角度旋轉包包時,包包的正面、側面和材質細節都保持不變。

可以保持不變的要素:

  • 臉部特徵(臉部結構、膚色、表情)
  • 服裝細節(質地、顏色、圖案)
  • 品牌元素(標誌、字體、配色方案)
  • 場景風格(光線、氛圍、色調)

用法範例

圖片1中的男子下班後沿著走廊走著,看起來很疲憊。他的腳步漸漸慢了下來。他走到家門口停了下來,深吸一口氣讓自己冷靜下來,然後摸索著找到鑰匙,打開門走了進去。他的小女兒和寵物狗高興地跑過來,擁抱了他。

一個戴著圍巾的男人

透過引用 @Image1,角色的外觀在整個序列中保持一致。

功能四:精確的攝影機運動和動作複製

這是 2.0 版本中最受關注的功能之一。

過去,如果你想讓人工智慧模仿電影鏡頭運動,要嘛你得寫出一長串技術術語,然後祈禱一切順利,要嘛它根本行不通。

現在只需兩步驟即可:

上傳一段包含你喜歡的鏡頭運動的參考視頻,然後寫道:

“請參考@Video1中的鏡頭運動。”

此模型分析參考影片中的攝影機邏輯(推、拉、平移、追蹤、旋轉、縮放、連續拍攝等),並將相同的運動風格應用於您的新內容。

鏡頭運動

可複製的鏡頭運動:

  • 希區考克式變焦
  • 軌道追蹤拍攝
  • 一鏡到底
  • 推拉/搖攝/跟蹤拍攝
  • 低角度拍攝
  • 鳥瞰圖

例如:重現經典武俠場景


功能五:精確再現創意模板與效果

看到喜歡的酷炫廣告創意、轉場效果或電影片段了嗎?

直接上傳作為參考。該模型可以識別其中的運動節奏、視覺結構和鏡頭語言,並幫助您創建自己的版本。

精確還原創意模板和效果

可以被重新創作的創意內容類型:

  • 創意轉場效果,例如拼圖破碎、粒子擴散和虹膜式傳送門轉場
  • 成品廣告風格
  • MV風格的節奏編輯
  • 電影特效鏡頭
  • 服裝變換與換臉效果

例子:


特效已全部開啟…

功能 6. 影片擴充與延續

已經有一段滿意的視頻,想繼續說故事?或是想在現有影片片段前加入背景故事?視訊擴充功能都能滿足這些需求。

向前延伸

上傳現有視頻,並寫上“將@Video 1 延長 X 秒”,然後描述你想生成的新場景。

向後延伸

輸入“向前延伸 X 秒”,並添加您想創建的早期故事情節的描述。

使用規則

明確告訴模型:“將@Video 1 延長 X 秒。”

產生時,請選擇與擴充時長相同的持續時間。例如,如果要擴展 5 秒,則將生成時長設為 5 秒。

您可以在擴展部分中添加新的情節元素和視覺描述。

支援向前和向後擴展。

用法範例

透過引用圖片和視頻,上面原本兩秒鐘的視頻片段可以延長到十五秒鐘。

擴充部分可以詳細描述,包括攝影機運動、視覺元素和螢幕上的文字。

功能7:更逼真的音頻

2.0 版本產生的影片內建音效和背景音樂,整體音訊品質與以前相比有了顯著提高。

以下是一些與音訊相關的應用案例。

語音語調參考

上傳一段影片或音訊片段,讓模特兒模仿其中的說話語氣或敘述風格。

多語對話

角色能說中文、英文、西班牙文、韓文等多種語言,情感表達也相當到位。

多角色對話

一段影片可以包含多個角色,每個角色都有自己的台詞。成功的例子包括貓狗脫口秀、時代劇對話和軍事戰術對話。

方言支持

有些創作者成功地創造了用四川方言點奶茶的角色,效果出奇地道地。

音效匹配

腳步聲、雷聲、人群噪音、設備碰撞聲和其他環境聲音都可以相當精確地產生。

能力八:更連貫的一鏡到底拍攝

「一鏡到底」拍攝要求場景在較長時間內保持連續,同時也要處理複雜的空間轉換和鏡頭運動。這對人工智慧來說始終是一個難題。

Seedance 2.0 在這方面取得了顯著進展。如果您上傳多張不同場景的圖片,並描述類似“一個連續的跟踪鏡頭,跟隨一名跑步者從街道跑上樓梯,穿過走廊,到達屋頂,最終俯瞰城市”,該模型可以實現場景之間的自然過渡,而不會出現明顯的斷點。


更複雜的長鏡頭拍攝也是可能的。例如,“從第一人稱視角,透過飛機舷窗,看到雲朵變成冰淇淋,然後將鏡頭拉回機艙,角色拿起冰淇淋咬一口。”

即使是這種涉及視角轉換和現實與幻想融合的一鏡到底的拍攝場景,Seedance 2.0 也能輕鬆應對。


影片中還有一些諜報片式的長鏡頭。鏡頭跟著一位身穿紅衣的女特務穿過人群。她轉過一個街角,遇到一個蒙面女孩,然後繼續追捕,進入一座豪宅,目標人物在那裡消失,整個過程沒有一個剪輯。

在一鏡到底的鏡頭中達到這種敘事密度已經相當令人印象深刻了。

用法範例

@Image1 @Image2 @Image3 @Image4 @Image5,一個連續跟踪鏡頭,跟隨一名跑步者從街道上跑上樓梯,穿過走廊,到達屋頂,最後俯瞰城市。

提示

將多張圖片依序排列。模特兒將在連續拍攝中按順序展示這些場景。

功能9.人工智慧影片編輯

已經有影片素材,不想從頭開始,只想修改其中的一部分?現在你可以使用現有影片作為輸入,進行針對性編輯。

角色替換

將影片中的角色 A 替換為角色 B,同時保持原有的動作和表情不變。例如,“將影片 1 中的女主唱替換為圖片 1 中的男主角,並完全複製其原有的動作。”

劇情反轉

保留場景和人物不變,但徹底改寫故事情節。有些創作者將橋上浪漫的賞月場景改編成戲劇性的轉折,男主角將女主角推入水中。另一些創作者則將緊張的酒吧談判場景改成喜劇橋段,例如有人突然掏出一大包零食。

元素修改

改變髮型、添加道具或更換背景。例如,“將影片 1 中女子的髮型改為一頭紅色長髮,並讓圖片 1 中的大白鯊緩緩出現在她身後。”

品牌整合

將品牌元素插入現有影片中。例如,在炸雞影片中添加一個帶有品牌標誌的紙袋特寫鏡頭。

範例——字元替換:


重製黑神話:悟空,然後讓他和美國隊長對戰。

功能 10:節拍同步編輯

上傳一段節奏感強的音樂影片作為參考。該模型可以檢測節奏變化,並使場景切換精準地落在節拍上。

基本節拍同步

上傳圖片素材和音樂參考視頻,然後寫:

“將畫面與 @Video 的節奏同步。”

    動態節拍同步

    寫:

    “使角色更具動感,增強整體夢幻般的視覺風格,增加視覺張力,並根據音樂需要調整鏡頭比例。”

    景觀節拍同步

    將多張風景圖片與音樂結合使用時,請這樣寫:

    “風景場景參考了@Video的節奏,並將轉場與視覺風格和音樂節拍同步。”

    Seedance 2.0 的音樂節拍同步

    用法範例

    @Image1 @Image2 @Image3 @Image4 @Image5 @Image6 @Image7

    根據@Video的關鍵影格位置和整體節奏同步這些影像。讓角色更具動感,並賦予整體視覺風格更夢幻的感覺。

    關鍵公式

    多張圖片 + 一個節奏參考影片 + “與節奏同步”。

    能力11. 更具說服力的情感表現

    在人工智慧生成的影片中,臉部表情僵硬和情緒轉換生硬一直是常見問題。 2.0 版本在這方面有了顯著改進。

    您可以上傳一段影片作為情感參考,讓模特兒模仿影片中的表情變化。例如,“@Image 1 中的女子走到鏡子前,停頓片刻,陷入沉思,然後突然崩潰尖叫。她抓鏡子的動作以及崩潰時的情緒強度應完全參考 @Video 1。”

    AI影片角色情感表演2.0

    你也可以用文字精確地描述情緒轉換。例如,從溫柔到冷漠,從緊張到放鬆,或從憤怒到釋然。模型能夠理解這些情緒變化,並透過臉部表情、肢體語言和語調來反映。

    它甚至可以處理帶有喜劇色彩的誇張表情。例如,「角色突然抬起頭,開始大聲喊叫」。

    您可能也喜歡

    查看更多

    如何製作AI遊戲角色戰鬥影片

    透過這份逐步教學,學習如何使用Pollo AI上的 AI 格鬥遊戲角色影片生成器,從文字製作格鬥遊戲角色影片。

    如何用AI製作爆紅的Instagram短影片

    透過這個簡單的步驟教學,了解如何使用 Pollo AI 的Instagram影片製作工具,將簡單的想法變成爆紅的Instagram Reels。

    如何製作AI爆紅的玻璃水果切切樂ASMR影片

    學習如何使用Pollo AI製作玻璃水果切割的 AI ASMR影片。這份指南將教你如何將一個簡單的水果名稱,變成吸睛的玻璃水果切割影片,幫助你增加粉絲。

    如何在Runway上使用運動畫筆

    了解如何使用Runway中的運動畫筆功能使影像栩栩如生並控制場景中各種項目和主題的移動。