ModèlesRunwaySynchronisation labiale sur la Runway

Synchronisation labiale sur la Runway

Runway Lip Sync est une fonctionnalité de Runway qui permet de synchroniser les discours de leurs clips audio ou de leurs scripts de texte pour correspondre aux expressions faciales de n'importe quel personnage. Cela vous permet de créer des séquences visuelles réalistes et attrayantes avec des personnages qui parlent ou conversent. Elle est similaire à la fonctionnalité Act One de Runway , mais cette dernière est plus puissante et destinée aux cas d'utilisation avancés.

Image vers vidéo

Texte vers vidéo

Principales caractéristiques de Runway Lip Sync

Synthèse vocale : Vous pouvez saisir des scripts contenant des dialogues entre les locuteurs que les personnages pourront utiliser.
Synchronisation avec l'audio : Téléchargez des fichiers de dialogue enregistrés d'une durée maximale de 40 secondes.
Scènes à visages multiples : Sélectionnez jusqu'à 10 caractères multiples pour des dialogues séparés.
Styliser le discours : Accédez à des modèles vocaux IA personnalisés pour obtenir divers résultats audio.

Synthèse vocale

Runway Lip Sync prend en charge les scripts de synthèse vocale contenant jusqu'à 600 caractères par dialogue entre interlocuteurs. Cela vous donne une liberté totale pour écrire des dialogues de personnages uniques qui correspondent à vos besoins et exigences précis.

Voici quelques exemples de vidéos de synthèse vocale synchronisées sur les lèvres :

Image	Script de texte	Sortie vidéo
	J'espère que vous passez tous un bon moment aujourd'hui. C'est génial d'avoir cette chance de se connecter.
	Salut Jamie ! Tu as des projets pour le week-end ?

Synchroniser avec l'audio téléchargé

Avec Runway Lip Sync, vous pouvez vous enregistrer ou enregistrer d'autres personnes et télécharger le fichier audio existant pour l'utiliser comme dialogue entre les personnages. L'outil permet d'enregistrer jusqu'à 40 secondes de discours avec la possibilité de prévisualiser le son avant le résultat final.

Scènes à visages multiples

Vous pouvez utiliser Runway Lip Sync pour créer des scènes de dialogue pour plusieurs personnages, ce qui facilite la création de scènes complexes. L'outil vous permet de télécharger jusqu'à 10 dialogues par vidéo, ce qui vous donne beaucoup de marge de manœuvre créative.

Image

Script de texte

Sortie vidéo

Personnage 1 :

Aujourd’hui, nous présenterons une nouvelle initiative conçue pour améliorer notre engagement communautaire.

Personnage 2 :

Cette initiative n’est pas seulement un projet ; c’est une opportunité pour nous tous de collaborer et d’innover ensemble.

Personnage 3 :

Nous avons soigneusement analysé les besoins de notre communauté et élaboré un plan qui répond efficacement à ces besoins.

Personnage 4 :

Notre objectif est de créer une plateforme qui favorise la communication et la connexion entre toutes les personnes impliquées.

Styliser le discours

Vous pouvez accéder à plusieurs modèles de voix IA personnalisés avec Runway Lip Sync, chacun offrant différentes nuances de langage parmi lesquelles choisir. Vous pouvez même sélectionner des voix masculines ou féminines dans différentes humeurs et contextes tels que la méditation, la narration, la conversation, etc.

Vidéos YouTube sur le lip sync de Runway

De quoi parlent les gens sur Runway Lip Sync sur Reddit

Plusieurs utilisateurs ont déjà implémenté Runway Lip Sync avec des résultats assez impressionnants mais il est clair que certaines améliorations sont encore nécessaires de la part de l'outil.

Commentaire
par u/Paul-Montreal à partir de la discussion
dans la piste ml

L’un des principaux problèmes rencontrés par certains utilisateurs est de faire fonctionner Runway Lip Sync avec des personnages qui ne sont pas humains.

Commentaire
par u/dietpapita à partir de la discussion
dans la piste ml

D'autres utilisateurs ont contourné ce problème en utilisant la vidéo à vidéo de Runway pour tenter de convertir les vidéos de personnages en action en direct pour de meilleurs résultats.

Commentaire
par u/Initial_Simple780 à partir de la discussion
dans runwayml

De quoi les gens parlent sur Runway Lip Sync sur X

# Runway Gen-1 + Lip Sync (Disponible maintenant pour tout le monde !)

Une expérience 🧵

Je voulais voir comment la synchronisation labiale fonctionnerait sur un clip Gen-1 stylisé. J'ai donc téléchargé une vidéo de bonne qualité avec mon sujet clairement visible.

Il s'agissait de la vidéo d'entrée initiale et la synchronisation labiale ne fonctionnait pas… pic.twitter.com/faJ0nAmWhS
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 mars 2024

📼 Le lip sync réaliste est arrivé sur Runway et c'est FOU. 🤯

Il s'agit en fait d'une mise à jour de la fonctionnalité Act-One, mais vous pouvez télécharger n'importe quelle vidéo, pas seulement celles générées dans le service.

Comment ça marche :

🟡 Nous mettons en ligne une vidéo de vous parlant à la caméra (ou même chantant).… pic.twitter.com/Il6CsVrgz0
– Javaid Shah (@JvShah124) 8 décembre 2024

Fin de partie ! Runway vient de sortir Act One, portant l'IA de synchronisation labiale à un niveau supérieur avec une qualité incroyable et un flux de travail fluide. Il n'a jamais été aussi simple de donner vie à des personnages.

Voici une courte scène intitulée « Rise or Fall ».

Je vais vous expliquer comment faire cela ci-dessous. @runwayml pic.twitter.com/KCAuXbNeIr
– Ben Nash (@bennash) 25 octobre 2024

J'ai voulu m'inspirer de Runway et de leur playback, alors j'ai créé cette image de MJ et j'ai raconté ce court métrage moi-même. Je ne suis pas trop fan des voix d'IA.
Processus intéressant. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
— ZOOT (@LittleTinRobot) 30 juin 2024

Waouh : la synchronisation labiale #runway génère désormais des dialogues pour plusieurs personnages. Génial :) Jannet et Mike nous en disent plus. pic.twitter.com/LTQNEuicoq
– Cristián Parodi (@cristian_parodi) 9 juillet 2024

Découvrez les autres fonctionnalités de Runway

Conversion de texte en vidéo sur la Runway Image de Runway en vidéo Pinceau de mouvement de Runway Vidéo de Runway à vidéo Vidéo de présentation de la Runway Acte 1 de la Runway Vidéo sur l'extension de la Runway Interpolation de trame de Runway

Articles utiles sur Runway Lip Sync

Apprenez à utiliser le lip sync avec Runway et découvrez d'autres articles utiles !

Comment créer des vidéos de synchronisation labiale avec Runway?Comment utiliser le générateur de vidéos Runway AI : le guide complet Guide d'invite RunwayML : comment inviter dans Runway (exemples inclus)Runway vs. Luma vs. Pollo AI: une comparaison côte à côte

Runway Gen 2 VS Gen 3 Alpha Vs Gen 3 Alpha Turbo : quelle est la meilleure ?Runway vs. Minimax vs. Pollo AI: Les meilleurs générateurs de vidéos IA comparés et classés Runway vs. Sora vs. Pollo AI: quel est le meilleur générateur de vidéo IA ?Comment supprimer un compte Runway ?

Découvrez plus d'articles sur Runway

FAQ

Est-ce que Runway Lip Sync est gratuit ?

Vous pouvez accéder gratuitement à Runway Lip Sync en utilisant le forfait de base. Cependant, le nombre de générations que vous pouvez créer sera limité. Si vous souhaitez continuer à utiliser l'outil, vous devrez éventuellement souscrire à un forfait payant.

Combien de personnages Runway Lip Sync peut-il animer par scène ?

Vous pouvez utiliser Runway Lip Sync pour ajouter des dialogues vocaux pour un maximum de 10 intervenants/dialogues différents par scène. Vous pouvez également utiliser différents modèles de voix IA pour chacun d'eux, ce qui vous aide à créer des séquences visuelles interactives avec une narration plus approfondie. Découvrez-en plus sur l'utilisation de Runway Lip Sync ici.

Quelles sont les limites de Runway Lip Sync ?

Runway Lip Sync fonctionne mieux avec des gros plans de visages humains tournés vers l'avant en direction de la caméra. L'outil ne prend généralement pas en charge les visages d'animaux ou de dessins animés, mais il peut parfois fonctionner. De plus, il ne doit pas y avoir de mouvement significatif de la bouche, de la caméra, du corps ou de la tête.

Quels formats vidéo sont pris en charge par Runway Lip Sync ?

Vous pouvez importer une large gamme de formats vidéo populaires tels que MP4, MOV, 3GP, MKV et autres. Cependant, en ce qui concerne l'exportation, vous devrez vérifier votre abonnement. Par exemple, les utilisateurs Basic et Standard ne peuvent exporter des vidéos qu'au format MP4.

Combien coûte l'utilisation de Runway Lip Sync ?

Runway facturera 5 crédits par seconde de sortie vidéo lors de l'utilisation de l'outil Lip Sync. Gardez à l'esprit qu'il prend en charge jusqu'à un maximum de 40 secondes par dialogue avec jusqu'à 10 dialogues autorisés pour chaque scène visuelle.

Essayez Runway sur Pollo AI maintenant !

En tant que générateur de vidéo IA tout-en-un, Pollo AI vous permet d'essayer les capacités de Runway sans tracas.