Sincronização labial da Runway
O Runway Lip Sync é uma funcionalidade do Runway que pode sincronizar as falas dos seus clips de áudio ou guiões de texto para corresponder às expressões faciais de qualquer personagem. Isto permite-lhe criar sequências visuais realistas e envolventes com personagens a conversar ou a conversar. É semelhante à funcionalidade Act One do Runway , mas esta última é mais poderosa e para casos de utilização avançados.
Principais características do Runway Lip Sync
- Conversão de texto em voz: Pode inserir scripts com diálogos de locutores para as personagens utilizarem.
- Sincronizar com áudio: Carregue ficheiros de diálogos gravados até 40 segundos.
- Cenas multifacetadas: Selecione até 10 caracteres múltiplos para diálogos separados.
- Estilizar o discurso: Aceda a modelos de voz de IA personalizados para obter diversos resultados de áudio.
Texto para voz
O Runway Lip Sync suporta scripts de conversão de texto em voz até 600 caracteres por diálogo do locutor. Isto dá-lhe total liberdade para escrever diálogos de personagens únicos que se ajustem às suas necessidades e requisitos específicos.
A seguir, apresentam-se alguns exemplos de vídeos de conversão de texto em voz com sincronização labial:
| Imagem | Guião de texto | Saída de vídeo |
 | Espero que todos se estejam a divertir muito hoje. É incrível ter esta oportunidade de me conectar. | |
 | Olá Jamie! Tem algum plano para o fim de semana? |
Sincronizar com áudio carregado
Com o Runway Lip Sync, pode gravar-se a si próprio ou a outras pessoas e enviar o ficheiro de áudio existente para ser utilizado como diálogo da personagem. A ferramenta permite até 40 segundos de fala, com a opção de visualizar como soa antes do resultado final.
Cenas multifacetadas
Pode utilizar o Runway Lip Sync para criar cenas de diálogo para várias personagens, facilitando a criação de cenas complexas. A ferramenta permite carregar até 10 diálogos por vídeo, dando-lhe bastante espaço criativo para trabalhar.
| Imagem | Guião de texto | Saída de vídeo |
 | Personagem 1: Hoje, apresentaremos uma nova iniciativa concebida para melhorar o envolvimento da nossa comunidade. Personagem 2: Esta iniciativa não é apenas um projeto; é uma oportunidade para todos colaborarmos e inovarmos em conjunto. Personagem 3: Analisamos cuidadosamente as necessidades da nossa comunidade e desenvolvemos um plano que satisfaz essas necessidades de forma eficaz. Personagem 4: O nosso objetivo é criar uma plataforma que promova a comunicação e a conexão entre todos os envolvidos. |
Estilizar o discurso
Pode aceder a vários modelos de voz de IA personalizados com o Runway Lip Sync, cada um oferecendo diferentes nuances linguísticas à sua escolha. Pode até selecionar vozes masculinas ou femininas em diferentes estados de espírito e cenários, como meditação, narração, conversa, etc.
Vídeos do YouTube sobre sincronização labial na Runway
O que as pessoas estão a dizer sobre Runway Lip Sync no Reddit
Vários utilizadores já implementaram o Runway Lip Sync com resultados bastante impressionantes, mas é evidente que ainda são necessárias algumas melhorias na ferramenta.
Comentar
por u/Paul-Montreal da discussão
na passerelleml
Um dos principais problemas que alguns utilizadores enfrentam é fazer com que o Runway Lip Sync funcione com personagens que não são humanos.
Comentar
por u/dietpapita da discussão
na passerelleml
Outros utilizadores contornaram este problema utilizando a funcionalidade de vídeo para vídeo do Runway na tentativa de converter os vídeos das personagens em ação ao vivo para obter melhores resultados.
Comentar
por u/Initial_Simple780 da discussão
na passerelleml
O que as pessoas estão a dizer sobre a sincronização labial da Runway no X
# Runway Gen-1 + Lip Sync (já disponível para todos!)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 de março de 2024
Um experimento 🧵
Queria ver o quão bem o Lip Sync funcionaria num clipe estilizado da Gen-1. Por isso, carreguei um vídeo de qualidade decente com o meu motivo claramente visível.
Este foi o vídeo de entrada inicial e os Lip Sync não… pic.twitter.com/faJ0nAmWhS
📼 A sincronização labial realista chegou à Runway e é INSANA. 🤯
— Javaid Shah (@JvShah124) 8 de dezembro de 2024
Na verdade, esta é uma atualização da funcionalidade Act-One, mas pode carregar qualquer vídeo, não apenas os gerados dentro do serviço.
Como funciona:
🟡 Carregamos um vídeo seu a falar para a câmara (ou até mesmo a cantar).… pic.twitter.com/Il6CsVrgz0
Game Over! A Runway acaba de lançar o Act One, levando a IA de sincronização labial para o próximo nível com uma qualidade insana e um fluxo de trabalho perfeito. Nunca foi tão fácil dar vida a personagens.
— Ben Nash (@bennash) 25 de outubro de 2024
Eis uma curta cena chamada "Ascensão ou Queda".
Explicarei como fazer isso abaixo. @runwayml foto.twitter.com/KCAuXbNeIr
Game Over! A Runway acaba de lançar o Act One, levando a IA de sincronização labial para o próximo nível com uma qualidade insana e um fluxo de trabalho perfeito. Nunca foi tão fácil dar vida a personagens.
— Ben Nash (@bennash) 25 de outubro de 2024
Eis uma curta cena chamada "Ascensão ou Queda".
Explicarei como fazer isso abaixo. @runwayml foto.twitter.com/KCAuXbNeIr
Queria dar uma vista de olhos à Runway e à sua dobragem, então criei esta imagem do MJ e narrei esta curta eu mesma. Não gosto muito de vozes de IA.
— ZOOT (@LittleTinRobot) 30 de junho de 2024
Processo interessante. #runwayml #meiodajornada #ficçãociêntifica pic.twitter.com/xlmzHkQF0N
Queria dar uma vista de olhos à Runway e à sua dobragem, então criei esta imagem do MJ e narrei esta curta eu mesma. Não gosto muito de vozes de IA.
— ZOOT (@LittleTinRobot) 30 de junho de 2024
Processo interessante. #runwayml #meiodajornada #ficçãociêntifica pic.twitter.com/xlmzHkQF0N
Queria dar uma vista de olhos à Runway e à sua dobragem, então criei esta imagem do MJ e narrei esta curta eu mesma. Não gosto muito de vozes de IA.
— ZOOT (@LittleTinRobot) 30 de junho de 2024
Processo interessante. #runwayml #meiodajornada #ficçãociêntifica pic.twitter.com/xlmzHkQF0N
Uau: #runway lip sync, agora gera diálogos para mais do que uma personagem. Maravilhoso :) Jannet e Mike contam-nos mais sobre isso. foto.twitter.com/LTQNEuicoq
— Cristián Parodi (@cristian_parodi) 9 de julho de 2024
Descubra outros recursos do Runway
Artigos úteis sobre sincronização labial na Runway
Saiba como usar a sincronização labial com o Runway e descubra mais artigos úteis!
Perguntas frequentes
O Runway Lip Sync é gratuito?
Pode aceder ao Runway Lip Sync sem custos usando o plano básico. No entanto, a quantidade de gerações que pode fazer será limitada. Se quiser continuar a utilizar a ferramenta, terá de subscrever um plano pago.
Quantos personagens consegue o Runway Lip Sync animar por cena?
Pode utilizar o Runway Lip Sync para adicionar diálogos de fala para até 10 oradores/diálogos diferentes por cena. Também pode utilizar diferentes modelos de voz de IA para cada um, o que ajuda a criar sequências visuais interativas com uma narrativa mais profunda. Saiba mais sobre como usar o Runway Lip Sync aqui.
Quais são as limitações do Runway Lip Sync?
A sincronização labial na Runway funciona melhor com planos de pormenor de rostos humanos virados para a frente na direção da câmara. A ferramenta normalmente não suporta rostos de animais ou desenhos animados, mas pode funcionar por vezes. Além disso, não deve haver qualquer movimento significativo da boca, da câmara, do corpo ou da cabeça.
Que formatos de vídeo suporta o Runway Lip Sync?
Pode importar uma grande variedade de formatos de vídeo populares, como MP4, MOV, 3GP, MKV e outros. No entanto, quando se trata de exportar, terá de verificar a sua assinatura. Por exemplo, os utilizadores Básico e Standard só podem exportar vídeos no formato MP4.
Quanto custa usar o Runway Lip Sync?
O Runway irá cobrar 5 créditos por segundo de saída de vídeo ao utilizar a ferramenta Lip Sync. Tenha em conta que suporta um máximo de 40 segundos por diálogo, sendo permitidos até 10 diálogos para cada cena visual.
Experimente o Runway no Pollo AI agora!
Como um gerador de vídeo de IA completo, o Pollo AI permite-lhe experimentar as características do Runway sem complicações.