La fonction Lip Sync est un ajout utile au modèle de génération de vidéos Runway AI . Elle est utilisée pour synchroniser les mouvements des lèvres des personnages ou des sujets humains dans les vidéos AI avec l'audio vocal, et elle offre de nombreuses utilités. Mais, comme il s'agit d'une fonctionnalité assez récente, de nombreux utilisateurs ne savent pas comment elle fonctionne. Ce guide explique comment utiliser la fonction Lip Sync de Runway de manière simple.
Qu'est-ce que la synchronisation labiale de Runway AI ?
Lip Sync est, comme son nom l'indique, une fonctionnalité permettant de synchroniser l'audio de la parole avec les mouvements des lèvres des personnages de vos vidéos IA. En d'autres termes, vous pouvez l'utiliser pour créer des vidéos IA dans lesquelles les personnages bougent leur bouche et leur visage de manière réaliste pour correspondre à un script de texte que vous pouvez soit écrire dans vos invites, soit télécharger sous forme de fichier audio séparé.
Les possibilités d’utilisation sont vastes. Les créateurs peuvent utiliser Lip Sync pour, par exemple, créer des scènes réalistes dans lesquelles des personnages dialoguent entre eux, lisent un discours ou font une déclaration. Cela ouvre de nouvelles opportunités en termes de type de contenu (comme du contenu de type film ou télévision) que vous pourriez théoriquement créer avec Runway AI.
Comment utiliser la synchronisation labiale dans Runway AI
Maintenant que vous savez à quoi sert la fonction Lip Sync, voyons comment l'utiliser. Voici un guide simple étape par étape, accompagné de captures d'écran, pour vous montrer exactement comment utiliser Lip Sync pour créer des vidéos IA avec un son parfaitement synchronisé.
Étape 1. Accéder à l'outil de synchronisation labiale
La première étape est simple. Si vous souhaitez utiliser l'outil Lip Sync, vous devez cliquer et sélectionner « Lip Sync Video » dans la liste des « Outils d'IA de Runway », que vous pouvez trouver sur le tableau de bord de Runway .
Étape 2. Ajoutez une vidéo ou une image
Ensuite, vous aurez besoin d'une image ou d'une vidéo à utiliser comme base pour votre création finale. Vous pouvez soit glisser-déposer, soit cliquer pour télécharger une vidéo ou une image dans l'un des formats pris en charge. Si vous utilisez une vidéo, assurez-vous que le personnage que vous souhaitez voir parler est présent dans la toute première image.
Étape 3. Sélectionnez votre haut-parleur
Une fois votre image ou vidéo chargée dans Runway, l'application essaiera de détecter automatiquement le visage de votre intervenant. La plupart du temps, elle ne devrait avoir aucun mal à repérer le personnage clé de l'image, mais elle peut rencontrer des difficultés si vous téléchargez une image contenant plusieurs personnes ou des personnages peu clairs. Si cela se produit, vous pouvez cliquer vous-même sur l'image et faire glisser la boîte sur le visage de votre intervenant.
Étape 4. Choisissez une voix
Cliquez sur l'icône du microphone à côté de votre interlocuteur pour lui sélectionner une voix. Runway vous propose tout un tas d'options de voix différentes et vous pouvez prévisualiser chacune d'elles en appuyant sur le petit bouton « Lecture ». Ensuite, lorsque vous en trouvez une qui vous convient, cliquez dessus pour la sélectionner.
Étape 5. Saisissez votre script ou téléchargez votre audio
Ensuite, vous devez indiquer à l'outil ce que vous souhaitez que votre interlocuteur dise. Pour cela, vous avez deux possibilités. Vous pouvez soit cliquer dans la zone de texte à côté de votre interlocuteur et saisir ce que vous souhaitez qu'il dise. Ou vous pouvez télécharger un fichier audio contenant déjà un enregistrement du discours que vous souhaitez entendre dans la vidéo finale.
Étape 6. (Facultatif) Ajouter des haut-parleurs supplémentaires
Il s'agit d'une étape facultative pour les situations où vous souhaitez que plusieurs personnes parlent dans votre vidéo. Vous pouvez cliquer sur le bouton « Ajouter un intervenant » en bas de la fenêtre de session pour ajouter chaque intervenant, puis cliquer sur l'icône de profil de chaque intervenant pour l'associer à l'un des visages détectés dans votre vidéo. Ensuite, saisissez votre script ou téléchargez l'audio que vous souhaitez entendre.
Étape 7. Cliquez sur le bouton Générer
Une fois que vous avez ajouté tous les dialogues souhaités, vous pouvez simplement appuyer sur le bouton « Générer » en bas de la page et attendre un moment pendant que Runway crée votre vidéo. Vous pouvez ensuite la visionner, l'enregistrer et la partager.
De plus, notez que vous pouvez également ajouter la synchronisation labiale aux vidéos générées par l'IA réalisées avec tous les différents modèles Runway , comme Gen-2, Gen-3 et Gen-3 Alpha Turbo. Il vous suffit de créer votre vidéo, puis de cliquer sur « Action » puis sur « Synchronisation labiale ».
Bonnes pratiques pour utiliser le Lip Sync sur les Runway
La fonction Lip Sync de Runway est utile et amusante à utiliser, mais elle n'est pas parfaite. Si vous souhaitez obtenir les meilleurs résultats avec cette fonctionnalité, vous devrez suivre certaines bonnes pratiques recommandées, qui sont les suivantes :
- Si vous utilisez des fichiers vocaux téléchargés, limitez-les à un maximum de 40 secondes.
- Placez vos personnages face à la caméra.
- Utilisez uniquement des visages humains – des animaux pourront être ajoutés à l’avenir mais ne fonctionnent pas encore.
- Gardez les têtes et les épaules de vos personnages dans le plan, ni trop zoomées ni trop dézoomées.
- Optez pour des styles de personnages photoréalistes, pas des personnages animés ou caricaturaux.
- Évitez tout mouvement excessif du corps, des mains ou de l’appareil photo.
- Gardez l’éclairage cohérent dans vos vidéos AI.
- Évitez les coupes ou transitions rapides qui interrompent le flux de l’audio/du discours.
- Assurez-vous d'utiliser les types de fichiers audio et vidéo pris en charge.
- Essayez de vous en tenir à un seul personnage dans le cadre – cela fonctionne moins bien avec plusieurs visages.
Essayez dès aujourd'hui le Lip Sync de Runway AI avec Pollo AI
Si vous souhaitez tester la fonctionnalité Runway Lip Sync, vous pouvez le faire facilement et gratuitement sur Pollo AI! Pollo AI est un générateur de vidéos IA de premier plan qui vous donne accès à une gamme de modèles de génération de vidéos IA, notamment Gen 2, Gen 3 Alpha et Turbo de Runway , Hailuo AI et Luma AI , entre autres. Il propose également une gamme d'outils et d'avantages, comme des modèles pour créer des vidéos de baisers IA. Vous pouvez tous les tester, tous gratuitement et au même endroit avec Pollo AI.