Runwayでリップシンク動画を作成する方法は？
リップシンク機能は、人気のRunway AIビデオ生成モデルに追加された便利な機能です。AI ビデオ内のキャラクターや人物の唇の動きを音声と同期させるために使用され、非常に便利です。ただし、これはかなり新しい機能であるため、多くのユーザーはその仕組みがよくわかっていません。このガイドでは、Runway のリップシンク機能を簡単に使用する方法について説明します。
Runway AI のリップシンクとは何ですか?
リップシンクは、その名前が示すように、AI ビデオ内のキャラクターの唇の動きと音声を同期させる機能です。言い換えると、プロンプトに書き込んだり、別のオーディオ ファイルとしてアップロードしたりできるテキスト スクリプトに合わせてキャラクターの口や顔がリアルに動く AI ビデオを作成するために使用できます。
この用途は多岐にわたります。クリエイターはリップシンクを使用して、たとえば、キャラクター同士が会話を交わしたり、スピーチを読んだり、声明を発表したりするリアルなシーンを作成できます。これにより、理論的にはRunway AIで作成できる映画やテレビスタイルのコンテンツなどのコンテンツの種類に関して、新しい機会が生まれます。
Runway AIでリップシンクを使用する方法
リップシンク機能の概要がわかったところで、その使い方を見てみましょう。ここでは、リップシンクを使用してオーディオが完全に同期された AI ビデオを作成する方法をスクリーンショット付きの簡単なステップバイステップ ガイドで詳しく説明します。
ステップ1.リップシンクツールにアクセスする
最初のステップは簡単です。リップシンク ツールを使用する場合は、 Runwayダッシュボードにある「Runway の AI ツール」のリストで「リップシンク ビデオ」をクリックして選択する必要があります。
ステップ2. ビデオまたは画像を追加する
次に、最終的な作品のベースラインとして使用する画像またはビデオが必要です。サポートされている形式のいずれかで、ビデオまたは画像をドラッグ アンド ドロップするかクリックしてアップロードできます。ビデオを使用する場合は、話したいキャラクターが最初のフレームに存在することを確認してください。
ステップ3. スピーカーを選択する
画像またはビデオがRunwayに読み込まれると、話し手の顔を自動的に検出しようとします。ほとんどの場合、画像内の主要人物を問題なく検出できるはずですが、複数の人が写っている画像や人物が不明瞭な画像をアップロードすると、うまく検出できない場合があります。その場合は、自分で画像をクリックして、ボックスを話し手の顔にドラッグしてください。
ステップ4. 音声を選択する
スピーカーの横にあるマイクのアイコンをクリックして、スピーカーの音声を選択します。Runwayにはさまざまな音声オプションが用意されており、小さな「再生」ボタンを押して各オプションをプレビューできます。次に、希望する音声が見つかったら、クリックして選択します。
ステップ5. スクリプトを入力するか、オーディオをアップロードする
次に、スピーカーに何を話してもらいたいかをツールに実際に伝える必要があります。これには 2 つのオプションがあります。スピーカーの横にあるテキスト ボックスをクリックして、話してもらいたい内容を入力します。または、最終的なビデオで聞きたいスピーチの録音がすでに含まれているオーディオ ファイルをアップロードすることもできます。
ステップ6. (オプション) スピーカーを追加する
これは、ビデオで複数の人に話してもらいたい場合のオプションの手順です。セッション ウィンドウの下部にある [発言者を追加] ボタンをクリックして各発言者を追加し、各発言者のプロフィール アイコンをクリックして、ビデオで検出された顔の 1 つと一致させます。次に、スクリプトを入力するか、聞きたい音声をアップロードします。
ステップ7. 生成ボタンをクリックする
必要なダイアログをすべて追加したら、ページの下部にある [生成] ボタンを押して、 Runway がビデオを作成するまでしばらく待ちます。その後、ビデオを表示、保存、共有できます。
さらに、 Gen-2、Gen-3、 Gen-3 Alpha Turboなど、さまざまなRunwayモデルで作成された AI 生成ビデオにリップシンクを追加することもできます。ビデオを作成してから、「アクション」をクリックし、「リップシンク」をクリックするだけです。
Runwayでのリップシンク使用のベストプラクティス
Runwayのリップシンク機能は便利で楽しいですが、完璧ではありません。この機能で最高の結果を得るには、次の推奨されるベスト プラクティスに従う必要があります。
- アップロードした音声ファイルを使用する場合は、最大 40 秒に抑えてください。
- キャラクターをカメラのほうに前を向けます。
- 人間の顔のみを使用してください。動物は将来追加される可能性がありますが、現時点では機能しません。
- キャラクターの頭と肩がショットに入るようにし、ズームインまたはズームアウトしすぎないようにしてください。
- アニメ風や漫画風ではなく、写実的なキャラクター スタイルを選択してください。
- 身体、手、カメラの過度な動きは避けてください。
- AI ビデオの照明を一定に保ちます。
- オーディオ/スピーチの流れを中断するような急激なカットやトランジションは避けてください。
- サポートされているオーディオおよびビデオ ファイルの種類を使用していることを確認してください。
- フレーム内に 1 人の人物を映すようにしてください。複数の顔があるとうまく機能しません。
Pollo AIでRunway AI のリップシンクを今すぐお試しください
Runwayリップシンク機能を試してみたい場合は、 Pollo AIで簡単に無料で試すことができます。Pollo Pollo AIは、 Runway の Gen 2 、 Gen 3 AlphaおよびTurbo 、 Hailuo AI 、 Luma AIなど、さまざまな AI ビデオ生成モデルにアクセスできる、主要な AI ビデオ ジェネレーターです。また、AI キス ビデオを作成するためのテンプレートなど、さまざまなツールと利点も提供しています。Pollo Pollo AIを使用すると、これらすべてを無料で 1 か所で試すことができます。