Lippensynchronisation auf dem Runway
Runway Lip Sync ist eine Funktion von Runway , mit der die Sprache von Audioclips oder Textskripten mit den Gesichtsausdrücken von Charakteren synchronisiert werden kann. Auf diese Weise können Sie realistische und ansprechende visuelle Sequenzen mit sprechenden oder sich unterhaltenden Charakteren erstellen. Diese Funktion ähnelt Runways Act One -Funktion, ist jedoch leistungsstärker und für fortgeschrittene Anwendungsfälle gedacht.
Hauptmerkmale von Runway Lip Sync
- Text-to-Speech: Sie können Skripte mit Sprecherdialogen für die zu verwendenden Charaktere eingeben.
- Mit Audio synchronisieren: Laden Sie aufgezeichnete Dialogdateien mit einer Länge von bis zu 40 Sekunden hoch.
- Multi-Face-Szenen: Wählen Sie bis zu 10 verschiedene Charaktere für separate Dialoge aus.
- Rede stilisieren: Greifen Sie auf benutzerdefinierte KI-Sprachmodelle zu, um vielfältige Audioergebnisse zu erzielen.
Text-zu-Sprache
Runway Lip Sync unterstützt Text-to-Speech-Skripte mit bis zu 600 Zeichen pro Sprecherdialog. Dies gibt Ihnen die volle Freiheit, einzigartige Charakterdialoge zu schreiben, die genau Ihren Bedürfnissen und Anforderungen entsprechen.
Nachfolgend finden Sie einige Beispiele für lippensynchrone Text-to-Speech-Videos:
| Bild | Textskript | Videoausgabe |
 | Ich hoffe, Sie alle haben heute eine fantastische Zeit. Es ist großartig, diese Gelegenheit zu haben, Kontakte zu knüpfen. | |
 | Hey Jamie! Hast du Pläne fürs Wochenende? |
Mit hochgeladenem Audio synchronisieren
Mit Runway Lip Sync können Sie sich selbst oder andere aufnehmen und die vorhandene Audiodatei hochladen, um sie als Dialog der Charaktere zu verwenden. Das Tool ermöglicht bis zu 40 Sekunden Sprache mit der Option, sich vor dem Endergebnis eine Vorschau anzuhören.
Multi-Face-Szenen
Mit Runway Lip Sync können Sie Dialogszenen für mehrere Charaktere erstellen. So können Sie ganz einfach komplexe Szenen erstellen. Mit dem Tool können Sie bis zu 10 Dialoge pro Video hochladen und haben so viel kreativen Spielraum.
| Bild | Textskript | Videoausgabe |
 | Charakter 1: Heute stellen wir eine neue Initiative vor, die unser Engagement in der Community stärken soll. Charakter 2: Diese Initiative ist nicht nur ein Projekt; sie ist eine Chance für uns alle, zusammenzuarbeiten und gemeinsam Innovationen zu entwickeln. Charakter 3: Wir haben die Bedürfnisse unserer Community sorgfältig analysiert und einen Plan entwickelt, der diese Bedürfnisse wirksam erfüllt. Charakter 4: Unser Ziel ist es, eine Plattform zu schaffen, die die Kommunikation und Vernetzung aller Beteiligten fördert. |
Stilisieren Sie die Sprache
Mit Runway Lip Sync können Sie auf mehrere benutzerdefinierte KI-Stimmmodelle zugreifen, von denen jedes unterschiedliche Sprachnuancen zur Auswahl bietet. Sie können sogar männliche oder weibliche Stimmen in verschiedenen Stimmungen und Situationen wie Meditation, Erzählung, Konversation usw. auswählen.
YouTube -Videos über Runway Lip Sync
Worüber die Leute auf Reddit über Runway Lip Sync sprechen
Mehrere Benutzer haben Runway Lip Sync bereits mit recht beeindruckenden Ergebnissen implementiert, es ist jedoch klar, dass bei dem Tool noch einige Verbesserungen erforderlich sind.
Kommentar
von u/Paul-Montreal aus der Diskussion
im Runwayml
Eines der Hauptprobleme, mit denen einige Benutzer zu kämpfen hatten, besteht darin, Runway Lip Sync mit Charakteren zum Laufen zu bringen, die nicht menschlich sind.
Kommentar
von u/dietpapita aus der Diskussion
im Runwayml
Andere Benutzer haben dieses Problem umgangen, indem sie versucht haben, die Charaktervideos mit der Video-zu-Video-Funktion von Runway in Live-Action umzuwandeln und so bessere Ergebnisse zu erzielen.
Kommentar
von u/Initial_Simple780 aus der Diskussion
im Runwayml
Worüber die Leute reden: Runway Lip Sync auf X
# Runway Gen-1 + Lip Sync (Jetzt für alle verfügbar!)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22. März 2024
Ein Experiment 🧵
Ich wollte sehen, wie gut die Lippensynchronisation bei einem stilisierten Gen-1-Clip funktioniert. Daher habe ich ein Video in guter Qualität hochgeladen, in dem mein Motiv deutlich zu sehen ist.
Dies war das ursprüngliche Eingabevideo und die Lippensynchronisation funktionierte nicht… pic.twitter.com/faJ0nAmWhS
📼 Realistische Lippensynchronisation ist bei Runway angekommen und sie ist WAHNSINN. 🤯
— Javaid Shah (@JvShah124) 8. Dezember 2024
Dies ist eigentlich ein Update der Act-One-Funktion, aber Sie können jedes beliebige Video hochladen, nicht nur die innerhalb des Dienstes generierten.
Und so geht's:
🟡 Wir laden ein Video hoch, in dem Sie in die Kamera sprechen (oder sogar singen).… pic.twitter.com/Il6CsVrgz0
Spiel vorbei! Runway hat gerade den Act One veröffentlicht und die Lippensynchronisations-KI mit unglaublicher Qualität und nahtlosem Workflow auf die nächste Stufe gehoben. Es war noch nie so einfach, Figuren zum Leben zu erwecken.
– Ben Nash (@bennash) 25. Oktober 2024
Hier ist eine kurze Szene mit dem Titel „Aufstieg oder Fall“.
Ich erkläre weiter unten, wie das geht. @runwayml pic.twitter.com/KCAuXbNeIr
Spiel vorbei! Runway hat gerade den Act One veröffentlicht und die Lippensynchronisations-KI mit unglaublicher Qualität und nahtlosem Workflow auf die nächste Stufe gehoben. Es war noch nie so einfach, Figuren zum Leben zu erwecken.
– Ben Nash (@bennash) 25. Oktober 2024
Hier ist eine kurze Szene mit dem Titel „Aufstieg oder Fall“.
Ich erkläre weiter unten, wie das geht. @runwayml pic.twitter.com/KCAuXbNeIr
Ich wollte Runway und ihre Lippensynchronisation ausprobieren, also habe ich dieses MJ-Bild erstellt und diesen Kurzfilm selbst gesprochen. Ich bin kein großer Fan von KI-Stimmen.
– ZOOT (@LittleTinRobot) , 30. Juni 2024
Interessanter Prozess. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Ich wollte Runway und ihre Lippensynchronisation ausprobieren, also habe ich dieses MJ-Bild erstellt und diesen Kurzfilm selbst gesprochen. Ich bin kein großer Fan von KI-Stimmen.
– ZOOT (@LittleTinRobot) , 30. Juni 2024
Interessanter Prozess. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Ich wollte Runway und ihre Lippensynchronisation ausprobieren, also habe ich dieses MJ-Bild erstellt und diesen Kurzfilm selbst gesprochen. Ich bin kein großer Fan von KI-Stimmen.
– ZOOT (@LittleTinRobot) , 30. Juni 2024
Interessanter Prozess. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Wow: #runway Lip Sync generiert jetzt Dialoge für mehr als einen Charakter. Wunderbar :) Jannet und Mike erzählen uns mehr darüber. pic.twitter.com/LTQNEuicoq
– Cristián Parodi (@cristian_parodi) 9. Juli 2024
Entdecken Sie die weiteren Funktionen von Runway
Hilfreiche Artikel zum Thema Runway Lip Sync
Erfahren Sie, wie Sie mit Runway die Lippensynchronisation nutzen und entdecken Sie weitere nützliche Artikel!
FAQs
Ist Runway Lip Sync kostenlos?
Mit dem Basisplan können Sie kostenlos auf Runway Lip Sync zugreifen. Die Anzahl der Generationen, die Sie erstellen können, ist jedoch begrenzt. Wenn Sie das Tool weiterhin verwenden möchten, müssen Sie irgendwann einen kostenpflichtigen Plan abonnieren.
Wie viele Charaktere kann Runway Lip Sync pro Szene animieren?
Mit Runway Lip Sync können Sie Sprachdialoge für bis zu 10 verschiedene Sprecher/Dialoge pro Szene hinzufügen. Sie können für jeden auch unterschiedliche KI-Stimmmodelle verwenden, was Ihnen dabei hilft, interaktive visuelle Sequenzen mit tieferem Storytelling zu erstellen. Weitere Informationen zur Verwendung von Runway Lip Sync finden Sie hier.
Welche Einschränkungen hat Runway Lip Sync?
Runway Lip Sync funktioniert am besten mit Nahaufnahmen menschlicher Gesichter, die nach vorne in Richtung der Kamera gerichtet sind. Das Tool unterstützt normalerweise keine Tier- oder Cartoon-Gesichter, kann aber manchmal funktionieren. Darüber hinaus sollten keine nennenswerten Bewegungen von Mund, Kamera, Körper oder Kopf zu sehen sein.
Welche Videoformate unterstützt Runway Lip Sync?
Sie können eine Vielzahl gängiger Videoformate wie MP4, MOV, 3GP, MKV und andere importieren. Beim Exportieren müssen Sie jedoch Ihr Abonnement überprüfen. Beispielsweise können Basic- und Standardbenutzer nur Videos im MP4-Format exportieren.
Wie viel kostet die Nutzung von Runway Lip Sync?
Runway berechnet 5 Credits pro Sekunde Videoausgabe, wenn Sie das Lip Sync-Tool verwenden. Beachten Sie, dass maximal 40 Sekunden pro Dialog unterstützt werden und pro visueller Szene bis zu 10 Dialoge zulässig sind.
Probieren Sie Runway jetzt auf Pollo AI aus!
Als All-in-One-KI-Videogenerator ermöglicht Ihnen Pollo AI , die Funktionen von Runway problemlos auszuprobieren.