ModelosRunwaySincronização labial da Runway

Sincronização labial da Runway

O Runway Lip Sync é uma funcionalidade do Runway que pode sincronizar as falas dos seus clips de áudio ou guiões de texto para corresponder às expressões faciais de qualquer personagem. Isto permite-lhe criar sequências visuais realistas e envolventes com personagens a conversar ou a conversar. É semelhante à funcionalidade Act One do Runway , mas esta última é mais poderosa e para casos de utilização avançados.

Imagem para vídeo

Texto para vídeo

Principais características do Runway Lip Sync

Conversão de texto em voz: Pode inserir scripts com diálogos de locutores para as personagens utilizarem.
Sincronizar com áudio: Carregue ficheiros de diálogos gravados até 40 segundos.
Cenas multifacetadas: Selecione até 10 caracteres múltiplos para diálogos separados.
Estilizar o discurso: Aceda a modelos de voz de IA personalizados para obter diversos resultados de áudio.

Texto para voz

O Runway Lip Sync suporta scripts de conversão de texto em voz até 600 caracteres por diálogo do locutor. Isto dá-lhe total liberdade para escrever diálogos de personagens únicos que se ajustem às suas necessidades e requisitos específicos.

A seguir, apresentam-se alguns exemplos de vídeos de conversão de texto em voz com sincronização labial:

Imagem	Guião de texto	Saída de vídeo
	Espero que todos se estejam a divertir muito hoje. É incrível ter esta oportunidade de me conectar.
	Olá Jamie! Tem algum plano para o fim de semana?

Sincronizar com áudio carregado

Com o Runway Lip Sync, pode gravar-se a si próprio ou a outras pessoas e enviar o ficheiro de áudio existente para ser utilizado como diálogo da personagem. A ferramenta permite até 40 segundos de fala, com a opção de visualizar como soa antes do resultado final.

Cenas multifacetadas

Pode utilizar o Runway Lip Sync para criar cenas de diálogo para várias personagens, facilitando a criação de cenas complexas. A ferramenta permite carregar até 10 diálogos por vídeo, dando-lhe bastante espaço criativo para trabalhar.

Imagem

Guião de texto

Saída de vídeo

Personagem 1:

Hoje, apresentaremos uma nova iniciativa concebida para melhorar o envolvimento da nossa comunidade.

Personagem 2:

Esta iniciativa não é apenas um projeto; é uma oportunidade para todos colaborarmos e inovarmos em conjunto.

Personagem 3:

Analisamos cuidadosamente as necessidades da nossa comunidade e desenvolvemos um plano que satisfaz essas necessidades de forma eficaz.

Personagem 4:

O nosso objetivo é criar uma plataforma que promova a comunicação e a conexão entre todos os envolvidos.

Estilizar o discurso

Pode aceder a vários modelos de voz de IA personalizados com o Runway Lip Sync, cada um oferecendo diferentes nuances linguísticas à sua escolha. Pode até selecionar vozes masculinas ou femininas em diferentes estados de espírito e cenários, como meditação, narração, conversa, etc.

Vídeos do YouTube sobre sincronização labial na Runway

O que as pessoas estão a dizer sobre Runway Lip Sync no Reddit

Vários utilizadores já implementaram o Runway Lip Sync com resultados bastante impressionantes, mas é evidente que ainda são necessárias algumas melhorias na ferramenta.

Comentar
por u/Paul-Montreal da discussão
na passerelleml

Um dos principais problemas que alguns utilizadores enfrentam é fazer com que o Runway Lip Sync funcione com personagens que não são humanos.

Comentar
por u/dietpapita da discussão
na passerelleml

Outros utilizadores contornaram este problema utilizando a funcionalidade de vídeo para vídeo do Runway na tentativa de converter os vídeos das personagens em ação ao vivo para obter melhores resultados.

Comentar
por u/Initial_Simple780 da discussão
na passerelleml

O que as pessoas estão a dizer sobre a sincronização labial da Runway no X

# Runway Gen-1 + Lip Sync (já disponível para todos!)

Um experimento 🧵

Queria ver o quão bem o Lip Sync funcionaria num clipe estilizado da Gen-1. Por isso, carreguei um vídeo de qualidade decente com o meu motivo claramente visível.

Este foi o vídeo de entrada inicial e os Lip Sync não… pic.twitter.com/faJ0nAmWhS
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 de março de 2024

📼 A sincronização labial realista chegou à Runway e é INSANA. 🤯

Na verdade, esta é uma atualização da funcionalidade Act-One, mas pode carregar qualquer vídeo, não apenas os gerados dentro do serviço.

Como funciona:

🟡 Carregamos um vídeo seu a falar para a câmara (ou até mesmo a cantar).… pic.twitter.com/Il6CsVrgz0
— Javaid Shah (@JvShah124) 8 de dezembro de 2024

Game Over! A Runway acaba de lançar o Act One, levando a IA de sincronização labial para o próximo nível com uma qualidade insana e um fluxo de trabalho perfeito. Nunca foi tão fácil dar vida a personagens.

Eis uma curta cena chamada "Ascensão ou Queda".

Explicarei como fazer isso abaixo. @runwayml foto.twitter.com/KCAuXbNeIr
— Ben Nash (@bennash) 25 de outubro de 2024

Queria dar uma vista de olhos à Runway e à sua dobragem, então criei esta imagem do MJ e narrei esta curta eu mesma. Não gosto muito de vozes de IA.
Processo interessante. #runwayml #meiodajornada #ficçãociêntifica pic.twitter.com/xlmzHkQF0N
— ZOOT (@LittleTinRobot) 30 de junho de 2024

Uau: #runway lip sync, agora gera diálogos para mais do que uma personagem. Maravilhoso :) Jannet e Mike contam-nos mais sobre isso. foto.twitter.com/LTQNEuicoq
— Cristián Parodi (@cristian_parodi) 9 de julho de 2024

Descubra outros recursos do Runway

Texto da Runway para vídeo Imagem da Runway para vídeo Pincel de movimento de Runway Vídeo da Runway para vídeo Vídeo sofisticado da Runway Primeiro Ato da Runway Vídeo de extensão da Runway Interpolação de quadro de Runway

Artigos úteis sobre sincronização labial na Runway

Saiba como usar a sincronização labial com o Runway e descubra mais artigos úteis!

Como criar vídeos de sincronização labial com o Runway?Como utilizar o Runway AI Video Generator: o guia completo Guia de prompts do RunwayML : como fazer prompts no Runway (exemplos incluídos)Runway vs. Luma vs. Pollo AI: Uma comparação lado a lado

Runway Gen 2 x Gen 3 Alpha x Gen 3 Alpha Turbo: Qual é o melhor?Runway vs. Minimax vs. Pollo AI: Os melhores geradores de vídeo de IA comparados e classificados Runway vs. Sora vs. Pollo AI: Qual é o melhor gerador de vídeo de IA?Como eliminar uma conta Runway ?

Explore mais artigos sobre a Runway

Perguntas frequentes

O Runway Lip Sync é gratuito?

Pode aceder ao Runway Lip Sync sem custos usando o plano básico. No entanto, a quantidade de gerações que pode fazer será limitada. Se quiser continuar a utilizar a ferramenta, terá de subscrever um plano pago.

Quantos personagens consegue o Runway Lip Sync animar por cena?

Pode utilizar o Runway Lip Sync para adicionar diálogos de fala para até 10 oradores/diálogos diferentes por cena. Também pode utilizar diferentes modelos de voz de IA para cada um, o que ajuda a criar sequências visuais interativas com uma narrativa mais profunda. Saiba mais sobre como usar o Runway Lip Sync aqui.

Quais são as limitações do Runway Lip Sync?

A sincronização labial na Runway funciona melhor com planos de pormenor de rostos humanos virados para a frente na direção da câmara. A ferramenta normalmente não suporta rostos de animais ou desenhos animados, mas pode funcionar por vezes. Além disso, não deve haver qualquer movimento significativo da boca, da câmara, do corpo ou da cabeça.

Que formatos de vídeo suporta o Runway Lip Sync?

Pode importar uma grande variedade de formatos de vídeo populares, como MP4, MOV, 3GP, MKV e outros. No entanto, quando se trata de exportar, terá de verificar a sua assinatura. Por exemplo, os utilizadores Básico e Standard só podem exportar vídeos no formato MP4.

Quanto custa usar o Runway Lip Sync?

O Runway irá cobrar 5 créditos por segundo de saída de vídeo ao utilizar a ferramenta Lip Sync. Tenha em conta que suporta um máximo de 40 segundos por diálogo, sendo permitidos até 10 diálogos para cada cena visual.

Experimente o Runway no Pollo AI agora!

Como um gerador de vídeo de IA completo, o Pollo AI permite-lhe experimentar as características do Runway sem complicações.