Sincronización de labios en la Runway
Runway Lip Sync es una función de Runway que puede sincronizar los diálogos de sus clips de audio o guiones de texto para que coincidan con las expresiones faciales de cualquier personaje. Esto le permite crear secuencias visuales realistas y atractivas con personajes hablando o conversando. Es similar a la función Act One de Runway , pero esta última es más potente y está destinada a casos de uso avanzados.
Características principales de Runway Lip Sync
- Texto a voz: Puedes ingresar guiones que incluyan diálogos del hablante para que los utilicen los personajes.
- Sincronizar con audio: Sube archivos de diálogo grabados de hasta 40 segundos.
- Escenas con múltiples caras: Seleccione hasta 10 caracteres múltiples para diálogos separados.
- Estilizar el discurso: Acceda a modelos de voz de IA personalizados para lograr diversos resultados de audio.
Texto a voz
Runway Lip Sync admite guiones de texto a voz de hasta 600 caracteres por diálogo de orador. Esto le brinda total libertad para escribir diálogos exclusivos de los personajes que se ajusten a sus necesidades y requisitos específicos.
A continuación se muestran algunos ejemplos de videos de texto a voz sincronizados con los labios:
| Imagen | Guión de texto | Vídeo de salida |
 | Espero que hoy lo estén pasando genial. Es genial tener esta oportunidad de conectarnos. | |
 | Hola Jamie, ¿tienes algún plan para el fin de semana? |
Sincronizar con audio cargado
Con Runway Lip Sync, puedes grabarte a ti mismo o a otras personas y cargar el archivo de audio existente para usarlo como diálogo de un personaje. La herramienta permite grabar hasta un máximo de 40 segundos de voz con la opción de previsualizar cómo suena antes del resultado final.
Escenas con múltiples caras
Puedes usar Runway Lip Sync para crear escenas de diálogo para varios personajes, lo que facilita la creación de escenas complejas. La herramienta te permite cargar hasta 10 diálogos por video, lo que te da mucho espacio creativo para trabajar.
| Imagen | Guión de texto | Vídeo de salida |
 | Personaje 1: Hoy presentaremos una nueva iniciativa diseñada para mejorar nuestra participación comunitaria. Personaje 2: Esta iniciativa no es sólo un proyecto; es una oportunidad para que todos colaboremos e innovemos juntos. Personaje 3: Hemos analizado cuidadosamente las necesidades de nuestra comunidad y hemos desarrollado un plan que aborda esas necesidades de manera efectiva. Personaje 4: Nuestro objetivo es crear una plataforma que fomente la comunicación y la conexión entre todos los involucrados. |
Estilizar el habla
Con Runway Lip Sync, puedes acceder a varios modelos de voz de IA personalizados, cada uno de los cuales ofrece diferentes matices de lenguaje para elegir. Incluso puedes seleccionar voces masculinas o femeninas en diferentes estados de ánimo y entornos, como meditación, narración, conversación, etc.
Vídeos de YouTube sobre Runway Lip Sync
De qué habla la gente sobre Runway Lip Sync en Reddit
Varios usuarios ya han implementado Runway Lip Sync con resultados bastante impresionantes, pero está claro que aún se requieren algunas mejoras en la herramienta.
Comentario
por u/Paul-Montreal de la discusión
En la pista ml
Uno de los principales problemas con los que han tenido que lidiar algunos usuarios es hacer que Runway Lip Sync funcione con personajes que no son humanos.
Comentario
por u/dietpapita de discusión
En la pista ml
Otros usuarios solucionaron este problema utilizando la función de video a video de Runway en un intento de convertir los videos de los personajes en acción en vivo para obtener mejores resultados.
Comentario
por u/Initial_Simple780 de la discusión
En la pista ml
De qué habla la gente sobre el lip sync en la Runway de X
# Runway Gen-1 + Lip Sync (¡Disponible ahora para todos!)
— 🍥Timmy🍥 (@IXITimmyIXI) 22 de marzo de 2024
Un experimento 🧵
Quería ver qué tan bien funcionaría Lip Sync en un clip estilizado de Gen-1, así que subí un video de buena calidad con el sujeto claramente visible.
Este fue el video de entrada inicial y el Lip Sync no funcionó… pic.twitter.com/faJ0nAmWhS
El lip sync realista ha llegado a Runway y es una LOCURA. 🤯
– Javaid Shah (@JvShah124) 8 de diciembre de 2024
En realidad, esta es una actualización de la función Act-One, pero puedes cargar cualquier video, no solo aquellos generados dentro del servicio.
Cómo funciona:
🟡 Subimos un vídeo tuyo hablando a la cámara (o incluso cantando).… pic.twitter.com/Il6CsVrgz0
¡Fin del juego! Runway acaba de lanzar el Act One, llevando la IA de sincronización de labios al siguiente nivel con una calidad increíble y un flujo de trabajo perfecto. Nunca había sido tan fácil dar vida a los personajes.
– Ben Nash (@bennash) 25 de octubre de 2024
Aquí hay una escena corta llamada "Ascenso o caída".
Te explicaré cómo hacer esto a continuación. @runwayml pic.twitter.com/KCAuXbNeIr
¡Fin del juego! Runway acaba de lanzar el Act One, llevando la IA de sincronización de labios al siguiente nivel con una calidad increíble y un flujo de trabajo perfecto. Nunca había sido tan fácil dar vida a los personajes.
– Ben Nash (@bennash) 25 de octubre de 2024
Aquí hay una escena corta llamada "Ascenso o caída".
Te explicaré cómo hacer esto a continuación. @runwayml pic.twitter.com/KCAuXbNeIr
Quería probar Runway y su playback, así que creé esta imagen de MJ y narré este cortometraje yo mismo. No me gustan demasiado las voces de IA.
— ZOOT (@LittleTinRobot) 30 de junio de 2024
Proceso interesante. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Quería probar Runway y su playback, así que creé esta imagen de MJ y narré este cortometraje yo mismo. No me gustan demasiado las voces de IA.
— ZOOT (@LittleTinRobot) 30 de junio de 2024
Proceso interesante. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Quería probar Runway y su playback, así que creé esta imagen de MJ y narré este cortometraje yo mismo. No me gustan demasiado las voces de IA.
— ZOOT (@LittleTinRobot) 30 de junio de 2024
Proceso interesante. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Guau: sincronización de labios de #runway , ahora genera diálogos para más de un personaje. Maravilloso :) Jannet y Mike nos cuentan más sobre esto. pic.twitter.com/LTQNEuicoq
— Cristián Parodi (@cristian_parodi) 9 de julio de 2024
Descubra otras características de Runway
Artículos útiles sobre la sincronización de labios en la Runway
¡Aprende a usar la sincronización de labios con Runway y descubre más artículos útiles!
Preguntas frecuentes
¿ Runway Lip Sync es gratuito?
Puedes acceder a Runway Lip Sync sin costo alguno si utilizas el plan básico. Sin embargo, la cantidad de generaciones que puedes realizar será limitada. Si deseas seguir utilizando la herramienta, eventualmente tendrás que suscribirte a un plan pago.
¿Cuántos personajes puede animar Runway Lip Sync por escena?
Puedes usar Runway Lip Sync para agregar diálogos hablados para un máximo de 10 hablantes/diálogos diferentes por escena. También puedes usar diferentes modelos de voz de IA para cada uno, lo que te ayuda a crear secuencias visuales interactivas con una narración más profunda. Obtén más información sobre cómo usar Runway Lip Sync aquí.
¿Qué limitaciones tiene Runway Lip Sync?
Runway Lip Sync funciona mejor con primeros planos de rostros humanos que miran hacia adelante en dirección a la cámara. La herramienta no suele admitir rostros de animales o dibujos animados, pero a veces puede funcionar. Además, no debería haber ningún movimiento significativo de la boca, la cámara, el cuerpo o la cabeza.
¿Qué formatos de vídeo admite Runway Lip Sync?
Puede importar una amplia gama de formatos de vídeo populares, como MP4, MOV, 3GP, MKV y otros. Sin embargo, cuando se trata de exportar, deberá comprobar su suscripción. Por ejemplo, los usuarios de los planes Básico y Estándar solo pueden exportar vídeos en formato MP4.
¿Cuánto cuesta utilizar Runway Lip Sync?
Runway cobrará 5 créditos por segundo de salida de video cuando se use la herramienta Lip Sync. Tenga en cuenta que admite hasta un máximo de 40 segundos por diálogo y se permiten hasta 10 diálogos por cada escena visual.
¡Prueba Runway en Pollo AI ahora!
Como generador de videos de IA todo en uno, Pollo AI te permite probar las capacidades de Runway sin problemas.