La funzionalità Lip Sync è un'utile aggiunta al famoso modello di generazione video Runway AI . Viene utilizzata per sincronizzare i movimenti delle labbra di personaggi o soggetti umani nei video AI con l'audio vocale e offre molta utilità. Tuttavia, poiché è una funzionalità piuttosto nuova, molti utenti non sono sicuri di come funzioni. Questa guida esplora come utilizzare la funzionalità Lip Sync di Runway in modo semplice.
Cos'è il Lip Sync di Runway AI?
Lip Sync è, come suggerisce il nome, una funzionalità per sincronizzare l'audio del parlato con i movimenti delle labbra dei personaggi nei tuoi video AI. In altre parole, puoi usarla per creare video AI in cui i personaggi muovono realisticamente la bocca e il viso per adattarli a uno script di testo che puoi scrivere nei tuoi prompt o caricare come file audio separato.
Gli utilizzi di questo sono di vasta portata. I creatori possono usare Lip Sync per, ad esempio, creare scene realistiche di personaggi che dialogano tra loro, o leggono un discorso, o fanno una dichiarazione. Questo apre nuove opportunità in termini di tipo di contenuto, come contenuti in stile cinematografico e televisivo, che potresti teoricamente realizzare con Runway AI.
Come usare il Lip Sync in Runway AI
Ora che sai di cosa si tratta la funzione Lip Sync, vediamo come usarla. Ecco una semplice guida passo passo, completa di screenshot, per mostrarti esattamente come puoi usare Lip Sync per creare video AI con audio perfettamente sincronizzato.
Passaggio 1. Accedi allo strumento Lip Sync
Il primo passo è semplice. Se vuoi usare lo strumento Lip Sync, devi cliccare e selezionare "Lip Sync Video" nell'elenco di "Runway's AI Tools", che puoi trovare nella dashboard Runway .
Passaggio 2. Aggiungi un video o un'immagine
Successivamente, avrai bisogno di un'immagine o di un video da usare come base per la tua creazione finale. Puoi trascinare e rilasciare o cliccare per caricare un video o un'immagine in uno qualsiasi dei formati supportati. Se usi un video, assicurati che il personaggio che vuoi vedere parlare sia presente nel primissimo fotogramma.
Passaggio 3. Seleziona il tuo altoparlante
Una volta caricata l'immagine o il video in Runway, cercherà di rilevare automaticamente il volto del tuo speaker. Nella maggior parte dei casi, non dovrebbe avere problemi a individuare la figura chiave nell'immagine, ma potrebbe avere difficoltà se carichi un'immagine con più persone o figure poco chiare. Se ciò accade, puoi cliccare sull'immagine e trascinare la casella sul volto del tuo speaker.
Passaggio 4. Scegli una voce
Fai clic sull'icona del microfono accanto al tuo speaker per selezionare una voce per loro. Runway ti offre un sacco di diverse opzioni vocali e puoi visualizzarne l'anteprima premendo il piccolo pulsante "Play". Quindi, quando ne trovi una che ti interessa, fai clic per selezionarla.
Passaggio 5. Inserisci il tuo script o carica il tuo audio
Successivamente, devi dire effettivamente allo strumento cosa vuoi che dica il tuo relatore. Hai due opzioni per farlo. Puoi cliccare nella casella di testo accanto al tuo relatore e digitare cosa vuoi che dica. Oppure puoi caricare un file audio che contiene già una registrazione del discorso che vuoi ascoltare nel video finale.
Passaggio 6. (Facoltativo) Aggiungere altoparlanti aggiuntivi
Questo è un passaggio facoltativo per le situazioni in cui potresti voler far parlare più persone nel tuo video. Puoi cliccare sul pulsante "Aggiungi oratore" in fondo alla finestra della sessione per aggiungerne uno, quindi cliccare sull'icona del profilo di ogni oratore per abbinarlo a uno dei volti rilevati nel tuo video. Quindi, digita il tuo script o carica l'audio che vuoi ascoltare.
Passaggio 7. Fare clic sul pulsante Genera
Una volta aggiunti tutti i dialoghi desiderati, puoi semplicemente premere il pulsante "Generate" in fondo alla pagina e attendere un momento mentre Runway realizza il tuo video. Puoi quindi visualizzarlo, salvarlo e condividerlo.
Inoltre, tieni presente che puoi anche aggiungere Lip Sync ai video generati dall'IA realizzati con tutti i diversi modelli Runway , come Gen-2, Gen-3 e Gen-3 Alpha Turbo. Devi solo creare il tuo video, quindi cliccare su "Azione" e poi su "Lip Sync".
Le migliori pratiche per usare il lip sync in Runway
La funzione Lip Sync in Runway è utile e divertente da usare, ma non è perfetta. Se vuoi ottenere i risultati migliori con questa funzione, dovrai seguire alcune best practice consigliate, che sono le seguenti:
- Se si utilizzano file vocali caricati, la loro durata massima è di 40 secondi.
- Fai in modo che i tuoi personaggi siano rivolti in avanti, verso la telecamera.
- Utilizza solo volti umani : in futuro potrebbero essere aggiunti anche volti di animali, ma al momento non funzionano.
- Fai in modo che le teste e le spalle dei tuoi personaggi siano ben inquadrate, senza ingrandirle o rimpicciolirle troppo.
- Scegli stili di personaggi fotorealistici, non animati o da cartone animato.
- Evitare movimenti eccessivi del corpo, delle mani o della fotocamera.
- Mantieni un'illuminazione uniforme nei tuoi video AI.
- Evitare tagli o transizioni rapide che interrompono il flusso dell'audio/discorso.
- Assicurati di utilizzare i tipi di file audio e video supportati.
- Prova a concentrarti su un solo personaggio nell'inquadratura: funziona meno bene con più volti.
Prova subito il Lip Sync di Runway AI con Pollo AI
Se vuoi provare la funzionalità Runway Lip Sync, puoi farlo facilmente e gratuitamente su Pollo AI! Pollo AI è un generatore di video AI leader che ti dà accesso a una gamma di modelli di generazione video AI, tra cui Gen 2 di Runway , Gen 3 Alpha e Turbo , Hailuo AI e Luma AI , oltre ad altri. Offre anche una gamma di strumenti e vantaggi, come modelli per creare video di baci AI. Puoi provarli tutti, tutti gratuitamente e tutti in un unico posto con Pollo AI.