Runwayリップシンク

Runway Lip Sync は、オーディオクリップまたはテキストスクリプトのスピーチを、任意のキャラクターの表情に合わせて同期できるRunwayの機能です。これにより、キャラクターが話したり会話したりしているリアルで魅力的なビジュアルシーケンスを作成できます。これはRunway のAct One機能に似ていますが、後者の方がより強力で、高度な使用例に適しています。

画像から動画へ

テキストから動画へ

Runwayリップシンクの主な特徴

テキスト読み上げ:キャラクターが使用するスピーカーのセリフを記述したスクリプトを入力できます。
オーディオと同期:最大 40 秒の録音されたダイアログファイルをアップロードします。
マルチフェイスシーン:個別のダイアログ用に最大 10 個の複数のキャラクターを選択します。
スピーチを様式化する:カスタム AI 音声モデルにアクセスして、多様なオーディオ結果を実現します。

テキスト読み上げ

Runway Lip Sync は、スピーカーの会話ごとに最大 600 文字のテキスト読み上げスクリプトをサポートしています。これにより、正確なニーズと要件に合った独自のキャラクター会話を自由に作成できます。

以下は、リップシンクされたテキスト読み上げビデオのサンプルです。

画像	テキストスクリプト	出力ビデオ
	今日は皆さんが素晴らしい時間を過ごされていることを願っています。このような交流の機会を持ててとても嬉しいです。
	やあ、ジェイミー！週末の予定は何かある？

アップロードしたオーディオと同期

Runway Lip Sync を使用すると、自分自身または他の人の音声を録音し、既存のオーディオファイルをアップロードして、キャラクターのセリフとして使用できます。このツールでは、最終結果の前に音声をプレビューするオプションを使用して、最大 40 秒のセリフを録音できます。

多面的なシーン

Runway Lip Sync を使用すると、複数のキャラクターのダイアログシーンを作成できるため、複雑なシーンを簡単に作成できます。このツールを使用すると、ビデオごとに最大 10 個のダイアログをアップロードできるため、クリエイティブな作業に多くの余裕が生まれます。

画像

テキストスクリプト

出力ビデオ

キャラクター1:

本日は、コミュニティの関与を強化するために設計された新しい取り組みを紹介します。

キャラクター2:

この取り組みは単なるプロジェクトではなく、私たち全員が協力し、共に革新を起こす機会なのです。

キャラクター3:

私たちはコミュニティのニーズを慎重に分析し、それらのニーズに効果的に対応する計画を策定しました。

キャラクター4:

私たちの目標は、関係者全員のコミュニケーションとつながりを促進するプラットフォームを構築することです。

スピーチを様式化する

Runway Lip Sync では、さまざまなカスタム AI 音声モデルにアクセスでき、それぞれ異なる言語のニュアンスから選択できます。瞑想、ナレーション、会話など、さまざまな気分や設定で男性または女性の声を選択することもできます。

Runwayリップシンクに関するYouTube動画

RedditでRunwayリップシンクについて人々が語っていること

すでに数人のユーザーがRunway Lip Sync を実装し、かなり印象的な結果を得ていますが、このツールにはまだ改善の余地があることは明らかです。

コメント
 u/Paul-Montrealによるディスカッションより
 ランウェイml

一部のユーザーが苦労している主な問題の 1 つは、 Runway Lip Sync を人間以外のキャラクターで動作させることです。

コメント
 u/dietpapitaによるディスカッションより
 ランウェイml

他のユーザーは、Runway のビデオツービデオを利用して、キャラクタービデオをライブアクションに変換し、より良い結果を得ることで、この問題を回避しました。

コメント
 u/Initial_Simple780によるディスカッションより
 ランウェイml

X のRunwayリップシンクについて人々が語っていること

#RunwayGen-1 + リップシンク (誰でも利用可能!)

実験🧵

様式化された Gen-1 クリップでリップシンクがどの程度機能するかを確認したかったので、被写体がはっきりと見える適切な品質のビデオをアップロードしました。

これは最初の入力ビデオで、リップシンクは機能しませんでした… pic.twitter.com/faJ0nAmWhS
— 🍥ティミー🍥 (@IXITimmyIXI) 2024年3月22日

📼 リアルなリップシンクがRunwayに登場しました。すごいです。🤯

これは実際には Act-One 機能のアップデートですが、サービス内で生成されたビデオだけでなく、任意のビデオをアップロードできます。

仕組み:

🟡 カメラに向かって話している（または歌っている）動画をアップロードします。… pic.twitter.com/Il6CsVrgz0
— ジャイド・シャー (@JvShah124) 2024 年 12 月 8 日

ゲームオーバー！ RunwayがAct Oneをリリースしました。リップシンク AI は驚異的な品質とシームレスなワークフローで次のレベルに引き上げられました。キャラクターに命を吹き込むのがこれほど簡単だったことはかつてありません。

こちらは「Rise or Fall」という短いシーンです。

作り方は以下で説明します。 @runwayml pic.twitter.com/KCAuXbNeIr
— ベン・ナッシュ (@bennash) 2024 年 10 月 25 日

Runwayとそのリップシンクを試してみたかったので、この MJ 画像を作成し、このショートナレーションを自分で付けました。AI 音声はあまり好きではありません。
興味深いプロセスです。 #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
— ZOOT (@LittleTinRobot) 2024年6月30日

すごい: #runwayリップシンク、複数のキャラクターのダイアログを生成できるようになりました。素晴らしい :) Jannet と Mike が詳細を話してくれました。 pic.twitter.com/LTQNEuicoq
— クリスティアン・パロディ (@cristian_parodi) 2024 年 7 月 9 日

Runwayのその他の機能を見る

Runwayテキストからビデオへ Runwayイメージをビデオに Runwayモーションブラシ Runwayビデオからビデオへ Runwayアップスケールビデオ Runway第1幕 Runway延長ビデオ Runwayフレーム補間

Runwayリップシンクに関する役立つ記事

Runwayでリップシンクを使用する方法を学び、さらに役立つ記事を見つけましょう。

Runwayでリップシンク動画を作成する方法は？Runway AIビデオジェネレーターの使い方: 完全ガイド RunwayMLプロンプトガイド: Runwayでプロンプトする方法 (例を含む)Runway vs. Luma vs. Pollo AI: 比較

Runway Gen 2 VS Gen 3 Alpha VS Gen 3 Alpha Turbo: どれがベスト?Runway vs. Minimax vs. Pollo AI: 最高の AI ビデオジェネレーターの比較とランキング Runway vs. Sora vs. Pollo AI: 最高の AI ビデオジェネレーターはどれですか?Runwayアカウントを削除するには?

Runwayに関するその他の記事を見る

よくある質問

Runway Lip Sync は無料ですか?

基本プランを使用すると、 Runway Lip Sync に無料でアクセスできます。ただし、作成できる世代数には制限があります。ツールを引き続き使用したい場合は、最終的には有料プランに加入する必要があります。

Runway Lip Sync では、シーンごとに何人のキャラクターをアニメーション化できますか?

Runway Lip Sync を使用すると、シーンごとに最大 10 の異なる話者/ダイアログを追加できます。また、それぞれに異なる AI 音声モデルを使用することもできるため、より深いストーリーテリングを備えたインタラクティブなビジュアルシーケンスを作成できます。Runway Lip Sync の使用方法の詳細については、こちらをご覧ください。

Runway Lip Sync にはどのような制限がありますか?

Runwayリップシンクは、カメラの方向を向いている人間の顔のクローズアップショットに最適です。このツールは通常、動物や漫画の顔には対応していませんが、機能する場合もあります。また、口、カメラ、体、頭の動きが著しくあってはいけません。

Runway Lip Sync はどのようなビデオ形式をサポートしていますか?

MP4、MOV、3GP、MKV など、さまざまな一般的なビデオ形式をインポートできます。ただし、エクスポートに関しては、サブスクリプションを確認する必要があります。たとえば、ベーシックおよびスタンダードユーザーは、MP4 形式でのみビデオをエクスポートできます。

Runway Lip Sync の使用にはいくらかかりますか?

Runway、リップシンクツールを使用する場合、ビデオ出力 1 秒あたり 5 クレジットが課金されます。各ビジュアルシーンには最大 10 個のダイアログが許可され、ダイアログあたり最大 40 秒がサポートされることに注意してください。

今すぐPollo AIでRunwayをお試しください！

オールインワンの AI ビデオジェネレーターであるPollo AI を使用すると、 Runwayの機能を簡単に試すことができます。