Die Lippensynchronisationsfunktion ist eine nützliche Ergänzung zum beliebten Videogenerierungsmodell Runway AI . Sie wird zum Synchronisieren der Lippenbewegungen von Figuren oder menschlichen Objekten in KI-Videos mit Sprachaudio verwendet und bietet viele nützliche Funktionen. Da es sich jedoch um eine recht neue Funktion handelt, sind sich viele Benutzer nicht sicher, wie sie funktioniert. In dieser Anleitung erfahren Sie auf einfache Weise, wie Sie die Lippensynchronisationsfunktion von Runway verwenden können.
Was ist die Lippensynchronisation von Runway AI?
Lip Sync ist, wie der Name schon sagt, eine Funktion zum Synchronisieren von Sprachaudio mit Lippenbewegungen der Charaktere in Ihren KI-Videos. Mit anderen Worten, Sie können damit KI-Videos erstellen, in denen Charaktere ihre Münder und Gesichter realistisch bewegen, um einem Textskript zu entsprechen, das Sie entweder in Ihre Eingabeaufforderungen schreiben oder als separate Audiodatei hochladen können.
Die Einsatzmöglichkeiten sind weitreichend. Mit Lip Sync können Kreative beispielsweise realistische Szenen erstellen, in denen Charaktere miteinander in Dialog treten, eine Rede vorlesen oder eine Erklärung abgeben. Dies eröffnet neue Möglichkeiten hinsichtlich der Art von Inhalten – beispielsweise Inhalte im Film- und Fernsehstil –, die Sie theoretisch mit Runway AI erstellen könnten.
So verwenden Sie die Lippensynchronisation in Runway AI
Jetzt wissen Sie, worum es bei der Funktion „Lippensynchronisation“ geht. Schauen wir uns an, wie Sie sie verwenden. Hier finden Sie eine einfache Schritt-für-Schritt-Anleitung mit Screenshots, die Ihnen genau zeigt, wie Sie mit der Lippensynchronisation KI-Videos mit perfekt synchronisiertem Ton erstellen können.
Schritt 1. Greifen Sie auf das Lippensynchronisationstool zu
Der erste Schritt ist einfach. Wenn Sie das Lippensynchronisationstool verwenden möchten, müssen Sie in der Liste der „Runway AI Tools“, die Sie auf dem Runway -Dashboard finden, auf „Lip Sync Video“ klicken und es auswählen.
Schritt 2. Fügen Sie ein Video oder Bild hinzu
Als Nächstes benötigen Sie ein Bild oder Video als Grundlage für Ihre endgültige Kreation. Sie können ein Video oder Bild in einem der unterstützten Formate per Drag & Drop oder per Klick hochladen. Wenn Sie ein Video verwenden, stellen Sie sicher, dass die Figur, die Sie sprechen sehen möchten, im allerersten Bild zu sehen ist.
Schritt 3. Wählen Sie Ihren Lautsprecher
Sobald Ihr Bild oder Video in Runway geladen wurde, versucht es, das Gesicht Ihres Sprechers automatisch zu erkennen. In den meisten Fällen sollte es kein Problem haben, die Hauptfigur im Bild zu erkennen, aber es kann Probleme geben, wenn Sie ein Bild mit mehreren Personen oder unklaren Figuren hochladen. In diesem Fall können Sie selbst auf das Bild klicken und das Kästchen auf das Gesicht Ihres Sprechers ziehen.
Schritt 4. Wählen Sie eine Stimme
Klicken Sie auf das Mikrofonsymbol neben Ihrem Sprecher, um eine Stimme für ihn auszuwählen. Runway bietet Ihnen eine ganze Reihe verschiedener Stimmenoptionen und Sie können jede einzelne in der Vorschau ansehen, indem Sie auf die kleine Schaltfläche „Wiedergeben“ klicken. Wenn Sie dann eine gewünschte Stimme gefunden haben, klicken Sie darauf, um sie auszuwählen.
Schritt 5. Geben Sie Ihr Skript ein oder laden Sie Ihr Audio hoch
Als Nächstes müssen Sie dem Tool mitteilen, was Ihr Sprecher sagen soll. Hierzu haben Sie zwei Möglichkeiten. Sie können entweder in das Textfeld neben Ihrem Sprecher klicken und eingeben, was er sagen soll. Oder Sie können eine Audiodatei hochladen, die bereits eine Aufnahme der Rede enthält, die Sie im endgültigen Video hören möchten.
Schritt 6. (Optional) Zusätzliche Lautsprecher hinzufügen
Dies ist ein optionaler Schritt für Situationen, in denen mehrere Personen in Ihrem Video sprechen sollen. Sie können unten im Sitzungsfenster auf die Schaltfläche „Sprecher hinzufügen“ klicken, um jeden Sprecher hinzuzufügen, und dann auf das Profilsymbol für jeden Sprecher klicken, um ihn einem der erkannten Gesichter in Ihrem Video zuzuordnen. Geben Sie dann entweder Ihr Skript ein oder laden Sie den Ton hoch, den Sie hören möchten.
Schritt 7. Klicken Sie auf die Schaltfläche Generieren
Sobald Sie alle gewünschten Dialoge hinzugefügt haben, können Sie einfach unten auf der Seite auf die Schaltfläche „Generieren“ klicken und einen Moment warten, während Runway Ihr Video erstellt. Anschließend können Sie es ansehen, speichern und weitergeben.
Beachten Sie außerdem, dass Sie Lippensynchronisation auch zu KI-generierten Videos hinzufügen können, die mit allen verschiedenen Runway Modellen erstellt wurden, wie Gen-2, Gen-3 und Gen-3 Alpha Turbo. Sie müssen nur Ihr Video erstellen, dann auf „Aktion“ und dann auf „Lippensynchronisation“ klicken.
Best Practices für die Verwendung von Lippensynchronisation im Runway
Die Lippensynchronisationsfunktion in Runway ist nützlich und macht Spaß, aber sie ist nicht perfekt. Wenn Sie mit dieser Funktion optimale Ergebnisse erzielen möchten, müssen Sie bestimmte empfohlene Best Practices befolgen:
- Wenn Sie hochgeladene Sprachdateien verwenden, beschränken Sie diese auf maximal 40 Sekunden.
- Lassen Sie Ihre Figuren nach vorne in Richtung Kamera blicken.
- Verwenden Sie nur menschliche Gesichter . Tiere werden möglicherweise in Zukunft hinzugefügt, funktionieren aber noch nicht.
- Zeigen Sie den Kopf und die Schultern Ihrer Figur auf das Bild, und zoomen Sie nicht zu weit hinein oder heraus.
- Entscheiden Sie sich für fotorealistische Charakterstile, nicht für animierte oder cartoonhafte.
- Vermeiden Sie übermäßige Bewegungen des Körpers, der Hände oder der Kamera.
- Sorgen Sie für eine gleichmäßige Beleuchtung in Ihren KI-Videos.
- Vermeiden Sie schnelle Schnitte oder Übergänge, die den Audio-/Sprachfluss unterbrechen.
- Stellen Sie sicher, dass Sie die unterstützten Audio- und Videodateitypen verwenden.
- Versuchen Sie, sich im Bild auf eine Figur zu beschränken – mit mehreren Gesichtern funktioniert das weniger gut.
Probieren Sie noch heute die Lippensynchronisation von Runway AI mit Pollo AI aus
Wenn Sie die Funktion Runway Lip Sync testen möchten, können Sie das ganz einfach und kostenlos auf Pollo AI tun! Pollo AI ist ein führender KI-Videogenerator, der Ihnen Zugriff auf eine Reihe von KI-Videogenerierungsmodellen bietet, darunter Runways Gen 2 , Gen 3 Alpha und Turbo , Hailuo AI und Luma AI sowie weitere. Es bietet auch eine Reihe von Tools und Vorteilen, wie Vorlagen zum Erstellen von KI-Kussvideos. Sie können sie alle kostenlos und an einem Ort mit Pollo AI testen.