Synchronisation labiale sur la Runway
Runway Lip Sync est une fonctionnalité de Runway qui permet de synchroniser les discours de leurs clips audio ou de leurs scripts de texte pour correspondre aux expressions faciales de n'importe quel personnage. Cela vous permet de créer des séquences visuelles réalistes et attrayantes avec des personnages qui parlent ou conversent. Elle est similaire à la fonctionnalité Act One de Runway , mais cette dernière est plus puissante et destinée aux cas d'utilisation avancés.
Principales caractéristiques de Runway Lip Sync
- Synthèse vocale : Vous pouvez saisir des scripts contenant des dialogues entre les locuteurs que les personnages pourront utiliser.
- Synchronisation avec l'audio : Téléchargez des fichiers de dialogue enregistrés d'une durée maximale de 40 secondes.
- Scènes à visages multiples : Sélectionnez jusqu'à 10 caractères multiples pour des dialogues séparés.
- Styliser le discours : Accédez à des modèles vocaux IA personnalisés pour obtenir divers résultats audio.
Synthèse vocale
Runway Lip Sync prend en charge les scripts de synthèse vocale contenant jusqu'à 600 caractères par dialogue entre interlocuteurs. Cela vous donne une liberté totale pour écrire des dialogues de personnages uniques qui correspondent à vos besoins et exigences précis.
Voici quelques exemples de vidéos de synthèse vocale synchronisées sur les lèvres :
| Image | Script de texte | Sortie vidéo |
 | J'espère que vous passez tous un bon moment aujourd'hui. C'est génial d'avoir cette chance de se connecter. | |
 | Salut Jamie ! Tu as des projets pour le week-end ? |
Synchroniser avec l'audio téléchargé
Avec Runway Lip Sync, vous pouvez vous enregistrer ou enregistrer d'autres personnes et télécharger le fichier audio existant pour l'utiliser comme dialogue entre les personnages. L'outil permet d'enregistrer jusqu'à 40 secondes de discours avec la possibilité de prévisualiser le son avant le résultat final.
Scènes à visages multiples
Vous pouvez utiliser Runway Lip Sync pour créer des scènes de dialogue pour plusieurs personnages, ce qui facilite la création de scènes complexes. L'outil vous permet de télécharger jusqu'à 10 dialogues par vidéo, ce qui vous donne beaucoup de marge de manœuvre créative.
| Image | Script de texte | Sortie vidéo |
 | Personnage 1 : Aujourd’hui, nous présenterons une nouvelle initiative conçue pour améliorer notre engagement communautaire. Personnage 2 : Cette initiative n’est pas seulement un projet ; c’est une opportunité pour nous tous de collaborer et d’innover ensemble. Personnage 3 : Nous avons soigneusement analysé les besoins de notre communauté et élaboré un plan qui répond efficacement à ces besoins. Personnage 4 : Notre objectif est de créer une plateforme qui favorise la communication et la connexion entre toutes les personnes impliquées. |
Styliser le discours
Vous pouvez accéder à plusieurs modèles de voix IA personnalisés avec Runway Lip Sync, chacun offrant différentes nuances de langage parmi lesquelles choisir. Vous pouvez même sélectionner des voix masculines ou féminines dans différentes humeurs et contextes tels que la méditation, la narration, la conversation, etc.
Vidéos YouTube sur le lip sync de Runway
De quoi parlent les gens sur Runway Lip Sync sur Reddit
Plusieurs utilisateurs ont déjà implémenté Runway Lip Sync avec des résultats assez impressionnants mais il est clair que certaines améliorations sont encore nécessaires de la part de l'outil.
Commentaire
par u/Paul-Montreal à partir de la discussion
dans la piste ml
L’un des principaux problèmes rencontrés par certains utilisateurs est de faire fonctionner Runway Lip Sync avec des personnages qui ne sont pas humains.
Commentaire
par u/dietpapita à partir de la discussion
dans la piste ml
D'autres utilisateurs ont contourné ce problème en utilisant la vidéo à vidéo de Runway pour tenter de convertir les vidéos de personnages en action en direct pour de meilleurs résultats.
Commentaire
par u/Initial_Simple780 à partir de la discussion
dans runwayml
De quoi les gens parlent sur Runway Lip Sync sur X
# Runway Gen-1 + Lip Sync (Disponible maintenant pour tout le monde !)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 mars 2024
Une expérience 🧵
Je voulais voir comment la synchronisation labiale fonctionnerait sur un clip Gen-1 stylisé. J'ai donc téléchargé une vidéo de bonne qualité avec mon sujet clairement visible.
Il s'agissait de la vidéo d'entrée initiale et la synchronisation labiale ne fonctionnait pas… pic.twitter.com/faJ0nAmWhS
📼 Le lip sync réaliste est arrivé sur Runway et c'est FOU. 🤯
– Javaid Shah (@JvShah124) 8 décembre 2024
Il s'agit en fait d'une mise à jour de la fonctionnalité Act-One, mais vous pouvez télécharger n'importe quelle vidéo, pas seulement celles générées dans le service.
Comment ça marche :
🟡 Nous mettons en ligne une vidéo de vous parlant à la caméra (ou même chantant).… pic.twitter.com/Il6CsVrgz0
Fin de partie ! Runway vient de sortir Act One, portant l'IA de synchronisation labiale à un niveau supérieur avec une qualité incroyable et un flux de travail fluide. Il n'a jamais été aussi simple de donner vie à des personnages.
– Ben Nash (@bennash) 25 octobre 2024
Voici une courte scène intitulée « Rise or Fall ».
Je vais vous expliquer comment faire cela ci-dessous. @runwayml pic.twitter.com/KCAuXbNeIr
Fin de partie ! Runway vient de sortir Act One, portant l'IA de synchronisation labiale à un niveau supérieur avec une qualité incroyable et un flux de travail fluide. Il n'a jamais été aussi simple de donner vie à des personnages.
– Ben Nash (@bennash) 25 octobre 2024
Voici une courte scène intitulée « Rise or Fall ».
Je vais vous expliquer comment faire cela ci-dessous. @runwayml pic.twitter.com/KCAuXbNeIr
J'ai voulu m'inspirer de Runway et de leur playback, alors j'ai créé cette image de MJ et j'ai raconté ce court métrage moi-même. Je ne suis pas trop fan des voix d'IA.
— ZOOT (@LittleTinRobot) 30 juin 2024
Processus intéressant. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
J'ai voulu m'inspirer de Runway et de leur playback, alors j'ai créé cette image de MJ et j'ai raconté ce court métrage moi-même. Je ne suis pas trop fan des voix d'IA.
— ZOOT (@LittleTinRobot) 30 juin 2024
Processus intéressant. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
J'ai voulu m'inspirer de Runway et de leur playback, alors j'ai créé cette image de MJ et j'ai raconté ce court métrage moi-même. Je ne suis pas trop fan des voix d'IA.
— ZOOT (@LittleTinRobot) 30 juin 2024
Processus intéressant. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Waouh : la synchronisation labiale #runway génère désormais des dialogues pour plusieurs personnages. Génial :) Jannet et Mike nous en disent plus. pic.twitter.com/LTQNEuicoq
– Cristián Parodi (@cristian_parodi) 9 juillet 2024
Découvrez les autres fonctionnalités de Runway
Articles utiles sur Runway Lip Sync
Apprenez à utiliser le lip sync avec Runway et découvrez d'autres articles utiles !
FAQ
Est-ce que Runway Lip Sync est gratuit ?
Vous pouvez accéder gratuitement à Runway Lip Sync en utilisant le forfait de base. Cependant, le nombre de générations que vous pouvez créer sera limité. Si vous souhaitez continuer à utiliser l'outil, vous devrez éventuellement souscrire à un forfait payant.
Combien de personnages Runway Lip Sync peut-il animer par scène ?
Vous pouvez utiliser Runway Lip Sync pour ajouter des dialogues vocaux pour un maximum de 10 intervenants/dialogues différents par scène. Vous pouvez également utiliser différents modèles de voix IA pour chacun d'eux, ce qui vous aide à créer des séquences visuelles interactives avec une narration plus approfondie. Découvrez-en plus sur l'utilisation de Runway Lip Sync ici.
Quelles sont les limites de Runway Lip Sync ?
Runway Lip Sync fonctionne mieux avec des gros plans de visages humains tournés vers l'avant en direction de la caméra. L'outil ne prend généralement pas en charge les visages d'animaux ou de dessins animés, mais il peut parfois fonctionner. De plus, il ne doit pas y avoir de mouvement significatif de la bouche, de la caméra, du corps ou de la tête.
Quels formats vidéo sont pris en charge par Runway Lip Sync ?
Vous pouvez importer une large gamme de formats vidéo populaires tels que MP4, MOV, 3GP, MKV et autres. Cependant, en ce qui concerne l'exportation, vous devrez vérifier votre abonnement. Par exemple, les utilisateurs Basic et Standard ne peuvent exporter des vidéos qu'au format MP4.
Combien coûte l'utilisation de Runway Lip Sync ?
Runway facturera 5 crédits par seconde de sortie vidéo lors de l'utilisation de l'outil Lip Sync. Gardez à l'esprit qu'il prend en charge jusqu'à un maximum de 40 secondes par dialogue avec jusqu'à 10 dialogues autorisés pour chaque scène visuelle.
Essayez Runway sur Pollo AI maintenant !
En tant que générateur de vidéo IA tout-en-un, Pollo AI vous permet d'essayer les capacités de Runway sans tracas.