A funcionalidade Lip Sync é uma adição útil ao popular modelo de geração de vídeo Runway AI . É utilizado para sincronizar movimentos labiais de personagens ou seres humanos em vídeos de IA com áudio de fala e oferece muita utilidade. Mas, como é uma funcionalidade relativamente nova, muitos utilizadores não têm a certeza de como funciona. Este guia explora como utilizar a funcionalidade Lip Sync do Runway de uma forma simples.
O que é a sincronização labial do Runway AI?
A sincronização labial é, como o nome indica, uma funcionalidade para sincronizar o áudio da fala com os movimentos labiais das personagens nos seus vídeos de IA. Por outras palavras, pode utilizá-lo para criar vídeos de IA em que as personagens movem as suas bocas e rostos de forma realista para combinar com um guião de texto que pode escrever nos seus avisos ou enviar como um ficheiro de áudio separado.
Os usos deste são de longo alcance. Os criadores podem utilizar a sincronização labial para, por exemplo, criar cenas realistas de personagens a dialogar entre si, a ler um discurso ou a fazer uma declaração. Isto abre novas oportunidades em termos do tipo de conteúdo – como conteúdo de estilo cinematográfico e televisivo – que poderia teoricamente criar com o Runway AI.
Como utilizar a sincronização labial no Runway AI
Agora que já sabe do que se trata a funcionalidade Lip Sync, vamos ver como utilizá-la. Aqui está um guia passo a passo simples, completo com capturas de ecrã, para lhe mostrar exatamente como pode utilizar o Lip Sync para fazer vídeos de IA com áudio perfeitamente sincronizado.
Passo 1. Aceda à ferramenta Lip Sync
O primeiro passo é simples. Se pretender utilizar a ferramenta Lip Sync, clique e seleccione "Lip Sync Video" na lista de "Runway's AI Tools", que pode encontrar no painel do Runway .
Passo 2. Adicione um vídeo ou imagem
Em seguida, precisará de uma imagem ou vídeo para utilizar como base para a sua criação final. Pode arrastar e largar ou clicar para carregar um vídeo ou imagem em qualquer um dos formatos suportados. Se utilizar um vídeo, certifique-se de que a personagem que quer ver a falar está presente no primeiro fotograma.
Passo 3. Selecione o seu alto-falante
Depois de a sua imagem ou vídeo ser carregado no Runway, este tentará detetar automaticamente o rosto do seu interlocutor. Na maioria das vezes, não deverá haver problemas em localizar a figura-chave na imagem, mas poderá haver dificuldades se carregar uma imagem com várias pessoas ou figuras pouco claras. Se isto acontecer, pode clicar na imagem e arrastar a caixa para a frente do seu altifalante.
Passo 4. Escolha uma voz
Clique no ícone do microfone junto ao seu altifalante para selecionar uma voz para o mesmo. O Runway oferece várias opções de voz diferentes e pode ouvir uma pré-visualização de cada uma delas premindo o pequeno botão "Play". Assim, quando encontrar o que pretende, clique para o selecionar.
Passo 5. Insira o seu script ou carregue o seu áudio
Em seguida, precisa de dizer à ferramenta o que pretende que o seu orador diga. Tem duas opções para isso. Pode clicar na caixa de texto ao lado do seu orador e escrever o que pretende que ele diga. Ou pode enviar um ficheiro áudio que já tenha uma gravação do discurso que pretende ouvir no vídeo final.
Passo 6. (Opcional) Adicionar altifalantes adicionais
Esta é uma etapa opcional para situações em que pretende que várias pessoas falem no seu vídeo. Pode clicar no botão "Adicionar orador" na parte inferior da janela da sessão para adicionar cada um e, em seguida, clicar no ícone de perfil de cada orador para o associar a um dos rostos detetados no seu vídeo. Depois, digite o seu script ou carregue o áudio que pretende ouvir.
Passo 7. Clique no botão Gerar
Depois de adicionar todos os diálogos desejados, pode simplesmente clicar no botão "Gerar" na parte inferior da página e aguardar um momento enquanto o Runway cria o seu vídeo. Pode então visualizá-lo, guardá-lo e partilhá-lo.
Além disso, note que também pode adicionar sincronização labial a vídeos gerados por IA feitos com todos os diferentes modelos da Runway , como o Gen-2, Gen-3 e Gen-3 Alpha Turbo. Só precisa de fazer o seu vídeo, clicar em “Ação” e depois em “Sincronização labial”.
Melhores práticas para usar a sincronização labial na Runway
A funcionalidade Lip Sync do Runway é útil e divertida de usar, mas não é perfeita. Se quiser obter os melhores resultados com esta funcionalidade, terá de seguir algumas práticas recomendadas, que são as seguintes:
- Se utilizar algum ficheiro de fala carregado, mantenha-o com um máximo de 40 segundos.
- Coloque os seus personagens virados para a frente, em direção à câmara.
- Utilize apenas rostos humanos – os animais podem ser adicionados no futuro, mas ainda não funcionam.
- Coloque as cabeças e os ombros das suas personagens na cena, sem grande zoom.
- Opte por estilos de personagens fotorrealistas, não animados ou cartoonescos.
- Evite qualquer movimento excessivo do corpo, das mãos ou da câmara.
- Mantenha a iluminação consistente nos seus vídeos de IA.
- Evite cortes rápidos ou transições que interrompam o fluxo do áudio/fala.
- Certifique-se de que utiliza os tipos de ficheiro de áudio e vídeo suportados.
- Tente cingir-se a uma personagem no enquadramento – funciona menos bem com vários rostos.
Experimente hoje mesmo o Lip Sync da Runway AI com a Pollo AI
Se quiser testar a funcionalidade Runway Lip Sync, pode fazê-lo facilmente e gratuitamente no Pollo AI! O Pollo AI é um gerador de vídeo de IA líder que dá acesso a uma variedade de modelos de geração de vídeo de IA, incluindo Runway's Gen 2 , Gen 3 Alpha e Turbo , Hailuo AI e Luma AI , além de outros. Também oferece uma variedade de ferramentas e vantagens, como modelos para fazer vídeos de beijos com IA. Pode testar todos eles, gratuitamente e num só lugar com o Pollo AI.