Sincronizzazione labiale in Runway
Runway Lip Sync è una funzionalità di Runway che può sincronizzare i discorsi delle clip audio o degli script di testo per abbinarli alle espressioni facciali di qualsiasi personaggio. Ciò consente di creare sequenze visive realistiche e coinvolgenti con personaggi che parlano o conversano. È simile alla funzionalità Act One di Runway , ma quest'ultima è più potente e per casi d'uso avanzati.
Caratteristiche principali di Runway Lip Sync
- Testo-a-voce: È possibile inserire degli script contenenti dialoghi da utilizzare per i personaggi.
- Sincronizzazione con l'audio: Carica file di dialoghi registrati della durata massima di 40 secondi.
- Scene multi-faccia: Seleziona fino a 10 personaggi multipli per dialoghi separati.
- Stilizzare il discorso: Accedi a modelli vocali AI personalizzati per ottenere risultati audio diversificati.
Testo-a-voce
Runway Lip Sync supporta script text-to-speech fino a 600 caratteri per dialogo dell'oratore. Questo ti dà la completa libertà di scrivere dialoghi di personaggi unici che si adattino alle tue precise esigenze e richieste.
Di seguito sono riportati alcuni esempi di video di testo in sincronizzazione labiale:
| Immagine | Testo in scrittura | Uscita video |
 | Spero che vi stiate divertendo tutti un mondo oggi. È fantastico avere questa possibilità di connetterci. | |
 | Ciao Jamie! Hai programmi per il weekend? |
Sincronizzazione con l'audio caricato
Con Runway Lip Sync, puoi registrare te stesso o altri e caricare il file audio esistente da usare come dialogo del personaggio. Lo strumento consente fino a un massimo di 40 secondi di discorso con l'opzione di visualizzare in anteprima come suona prima del risultato finale.
Scene multi-faccia
Puoi usare Runway Lip Sync per creare scene di dialogo per più personaggi, rendendo facile creare scene complesse con facilità. Lo strumento ti consente di caricare fino a 10 dialoghi per video, dandoti molto spazio creativo con cui lavorare.
| Immagine | Testo in scrittura | Uscita video |
 | Personaggio 1: Oggi presenteremo una nuova iniziativa pensata per migliorare il coinvolgimento della nostra comunità. Personaggio 2: Questa iniziativa non è solo un progetto: è un'opportunità per tutti noi di collaborare e innovare insieme. Personaggio 3: Abbiamo analizzato attentamente le esigenze della nostra comunità e sviluppato un piano che le soddisfa in modo efficace. Personaggio 4: Il nostro obiettivo è creare una piattaforma che favorisca la comunicazione e la connessione tra tutti i soggetti coinvolti. |
Stilizzare il discorso
Puoi accedere a diversi modelli vocali AI personalizzati con Runway Lip Sync, ognuno dei quali offre diverse sfumature linguistiche tra cui scegliere. Puoi persino selezionare voci maschili o femminili in diversi stati d'animo e impostazioni come meditazione, narrazione, conversazione, ecc.
Video YouTube su Runway Lip Sync
Di cosa si parla su Runway Lip Sync su Reddit
Diversi utenti hanno già implementato Runway Lip Sync con risultati piuttosto impressionanti, ma è chiaro che lo strumento deve ancora apportare alcuni miglioramenti.
Commento
di u/Paul-Montreal dalla discussione
in pistaml
Uno dei problemi principali con cui alcuni utenti hanno dovuto fare i conti è stato far funzionare Runway Lip Sync con personaggi non umani.
Commento
da u/dietpapita dalla discussione
in pistaml
Altri utenti hanno aggirato questo problema utilizzando la funzione video-to-video di Runway nel tentativo di convertire i video dei personaggi in azioni dal vivo per ottenere risultati migliori.
Commento
di u/Initial_Simple780 dalla discussione
in pistaml
Di cosa si parla sul lip sync Runway su X
# Runway Gen-1 + Lip Sync (disponibile ora per tutti!)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 marzo 2024
Un esperimento 🧵
Volevo vedere quanto bene Lip Sync avrebbe funzionato su una clip Gen-1 stilizzata. Quindi ho caricato un video di qualità decente con il mio soggetto ben visibile.
Questo era il video di input iniziale e il Lip Sync non... pic.twitter.com/faJ0nAmWhS
📼 Il lip sync realistico è arrivato su Runway ed è FOLLE. 🤯
– Javaid Shah (@JvShah124) 8 dicembre 2024
In realtà si tratta di un aggiornamento della funzionalità Act-One, ma puoi caricare qualsiasi video, non solo quelli generati all'interno del servizio.
Come funziona:
🟡 Carichiamo un video in cui parli alla telecamera (o addirittura canti).… pic.twitter.com/Il6CsVrgz0
Game over! Runway ha appena lanciato Act One, portando l'intelligenza artificiale per il lip-sync a un livello superiore con una qualità pazzesca e un flusso di lavoro fluido. Non è mai stato così facile dare vita ai personaggi.
— Ben Nash (@bennash) 25 ottobre 2024
Ecco una breve scena intitolata "Ascesa o caduta".
Di seguito spiegherò come realizzarlo. @runwayml pic.twitter.com/KCAuXbNeIr
Game over! Runway ha appena lanciato Act One, portando l'intelligenza artificiale per il lip-sync a un livello superiore con una qualità pazzesca e un flusso di lavoro fluido. Non è mai stato così facile dare vita ai personaggi.
— Ben Nash (@bennash) 25 ottobre 2024
Ecco una breve scena intitolata "Ascesa o caduta".
Di seguito spiegherò come realizzarlo. @runwayml pic.twitter.com/KCAuXbNeIr
Volevo provare a fare Runway e il loro lip sync, quindi ho creato questa immagine di MJ e ho narrato questo cortometraggio io stesso. Non sono molto entusiasta delle voci AI.
— ZOOT (@LittleTinRobot) 30 giugno 2024
Processo interessante. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Volevo provare a fare Runway e il loro lip sync, quindi ho creato questa immagine di MJ e ho narrato questo cortometraggio io stesso. Non sono molto entusiasta delle voci AI.
— ZOOT (@LittleTinRobot) 30 giugno 2024
Processo interessante. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Volevo provare a fare Runway e il loro lip sync, quindi ho creato questa immagine di MJ e ho narrato questo cortometraggio io stesso. Non sono molto entusiasta delle voci AI.
— ZOOT (@LittleTinRobot) 30 giugno 2024
Processo interessante. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Wow: #runway lip sync, ora genera dialoghi per più di un personaggio. Meraviglioso :) Jannet e Mike ce ne raccontano di più. pic.twitter.com/LTQNEuicoq
— Cristián Parodi (@cristian_parodi) 9 luglio 2024
Scopri le altre caratteristiche di Runway
Articoli utili su Runway Lip Sync
Scopri come usare il lip sync con Runway e scopri altri articoli utili!
Domande frequenti
Runway Lip Sync è gratuito?
Puoi accedere a Runway Lip Sync senza costi utilizzando il piano base. Tuttavia, il numero di generazioni che puoi effettuare sarà limitato. Se vuoi continuare a utilizzare lo strumento, alla fine dovrai abbonarti a un piano a pagamento.
Quanti personaggi può animare Runway Lip Sync per scena?
Puoi usare Runway Lip Sync per aggiungere dialoghi vocali per un massimo di 10 diversi speaker/dialoghi per scena. Puoi anche usare diversi modelli vocali AI per ognuno, il che ti aiuta a creare sequenze visive interattive con una narrazione più profonda. Scopri di più su come usare Runway Lip Sync qui.
Quali sono i limiti di Runway Lip Sync?
Runway Lip Sync funziona meglio con primi piani di volti umani rivolti in avanti in direzione della telecamera. Lo strumento in genere non supporta volti di animali o cartoni animati, ma a volte può funzionare. Inoltre, non dovrebbe esserci alcun movimento significativo di bocca, telecamera, corpo o testa.
Quali formati video supporta Runway Lip Sync?
Puoi importare un'ampia gamma di formati video popolari come MP4, MOV, 3GP, MKV e altri. Tuttavia, quando si tratta di esportare, dovrai controllare il tuo abbonamento. Ad esempio, gli utenti Basic e Standard possono esportare video solo in formato MP4.
Quanto costa utilizzare Runway Lip Sync?
Runway addebiterà 5 crediti al secondo di output video quando si utilizza lo strumento Lip Sync. Tieni presente che supporta fino a un massimo di 40 secondi per dialogo con un massimo di 10 dialoghi consentiti per ogni scena visiva.
Prova subito Runway su Pollo AI !
Pollo AI è un generatore di video AI all-in-one che ti consente di provare le funzionalità di Runway senza problemi.