Lip Sync op de Runway
Runway Lip Sync is een functie van Runway die de toespraken van hun audioclips of tekstscripts kan synchroniseren om overeen te komen met de gezichtsuitdrukkingen van elk personage. Hiermee kunt u realistische en boeiende visuele sequenties maken met personages die praten of converseren. Het is vergelijkbaar met Runway's Act One -functie, maar de laatste is krachtiger en voor geavanceerde use cases.
Belangrijkste kenmerken van Runway Lip Sync
- Tekst-naar-spraak: U kunt scripts met gesproken dialogen invoeren die personages kunnen gebruiken.
- Synchroniseren met audio: Upload opgenomen dialoogbestanden van maximaal 40 seconden.
- Multi-Face scènes: Selecteer maximaal 10 verschillende personages voor afzonderlijke dialogen.
- Stijl de toespraak: Krijg toegang tot aangepaste AI-spraakmodellen om uiteenlopende audioresultaten te behalen.
Tekst-naar-spraak
Runway Lip Sync ondersteunt tekst-naar-spraakscripts van maximaal 600 tekens per sprekersdialoog. Dit geeft u volledige vrijheid om unieke karakterdialogen te schrijven die passen bij uw precieze behoeften en vereisten.
Hieronder staan enkele voorbeelden van lipsynchronisatie-tekst-naar-spraakvideo's:
| Afbeelding | Tekst script | Uitvoervideo |
 | Ik hoop dat jullie allemaal een fantastische tijd hebben vandaag. Het is geweldig om deze kans te hebben om contact te maken. | |
 | Hey Jamie! Heb je plannen voor het weekend? |
Synchroniseren met geüploade audio
Met Runway Lip Sync kunt u uzelf of anderen opnemen en het bestaande audiobestand uploaden om te gebruiken als karakterdialoog. De tool staat maximaal 40 seconden spraak toe met de optie om te previewen hoe het klinkt voor het eindresultaat.
Multi-Face Scènes
Je kunt Runway Lip Sync gebruiken om dialoogscènes te maken voor meerdere personages, waardoor het makkelijk wordt om complexe scènes te maken. Met de tool kun je tot 10 dialogen per video uploaden, waardoor je veel creatieve ruimte hebt om mee te werken.
| Afbeelding | Tekst script | Uitvoervideo |
 | Karakter 1: Vandaag introduceren we een nieuw initiatief dat is ontworpen om de betrokkenheid van onze gemeenschap te vergroten. Karakter 2: Dit initiatief is niet zomaar een project; het is een kans voor ons allemaal om samen te werken en te innoveren. Karakter 3: We hebben de behoeften van onze gemeenschap zorgvuldig geanalyseerd en een plan ontwikkeld dat effectief in die behoeften voorziet. Karakter 4: Ons doel is om een platform te creëren dat communicatie en verbinding tussen alle betrokkenen bevordert. |
Stijl spraak
Je hebt toegang tot verschillende aangepaste AI-stemmodellen met Runway Lip Sync, elk met verschillende taalnuances om uit te kiezen. Je kunt zelfs mannelijke of vrouwelijke stemmen selecteren in verschillende stemmingen en settings, zoals meditatie, vertelling, conversatie, etc.
YouTube video's over Runway Lip Sync
Waar mensen het over hebben op Runway Lip Sync op Reddit
Meerdere gebruikers hebben Runway Lip Sync al geïmplementeerd met behoorlijk indrukwekkende resultaten, maar het is duidelijk dat de tool nog wel wat verbetering nodig heeft.
Opmerking
door u/Paul-Montreal uit discussie
op de catwalk
Een van de grootste problemen waar sommige gebruikers mee worstelen, is hoe ze Runway Lip Sync kunnen laten werken met personages die niet menselijk zijn.
Opmerking
door u/dietpapita uit discussie
op de catwalk
Andere gebruikers hebben dit probleem omzeild door gebruik te maken van Runway's video-naar-video-functie. Zo probeerden ze de video's van de personages om te zetten in live-actionvideo's, voor betere resultaten.
Opmerking
door u/Initial_Simple780 van discussie
op de catwalk
Waar mensen het over hebben Runway Lip Sync op X
# Runway Gen-1 + Lip Sync (Nu beschikbaar voor iedereen!)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 maart 2024
Een experiment 🧵
Ik wilde zien hoe goed Lip Sync zou werken op een gestileerde Gen-1 clip. Dus ik uploadde een video van behoorlijke kwaliteit met mijn onderwerp duidelijk zichtbaar.
Dit was de eerste Input Video en de Lip Sync wilde niet... pic.twitter.com/faJ0nAmWhS
📼 Realistische lip sync is gearriveerd op Runway en het is GEK. 🤯
— Javaid Shah (@JvShah124) 8 december 2024
Dit is eigenlijk een update van de Act-One-functie, maar u kunt elke gewenste video uploaden, niet alleen de video's die binnen de service zijn gegenereerd.
Hoe het werkt:
🟡 We uploaden een video van jou waarin je tegen de camera spreekt (of zelfs zingt).… pic.twitter.com/Il6CsVrgz0
Game over! Runway heeft zojuist Act One uitgebracht, waarmee de lip-sync AI naar een hoger niveau is getild met waanzinnige kwaliteit en een naadloze workflow. Het is nog nooit zo makkelijk geweest om personages tot leven te brengen.
— Ben Nash (@bennash) 25 oktober 2024
Hier is een korte scène genaamd "Rise or Fall".
Ik zal hieronder uitleggen hoe je dit maakt. @runwayml pic.twitter.com/KCAuXbNeIr
Game over! Runway heeft zojuist Act One uitgebracht, waarmee de lip-sync AI naar een hoger niveau is getild met waanzinnige kwaliteit en een naadloze workflow. Het is nog nooit zo makkelijk geweest om personages tot leven te brengen.
— Ben Nash (@bennash) 25 oktober 2024
Hier is een korte scène genaamd "Rise or Fall".
Ik zal hieronder uitleggen hoe je dit maakt. @runwayml pic.twitter.com/KCAuXbNeIr
Ik wilde Runway en hun lip sync uitproberen, dus ik heb deze MJ-afbeelding gemaakt en deze korte film zelf ingesproken. Ik ben niet zo dol op AI-stemmen.
— ZOOT (@LittleTinRobot) 30 juni 2024
Interessant proces. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Ik wilde Runway en hun lip sync uitproberen, dus ik heb deze MJ-afbeelding gemaakt en deze korte film zelf ingesproken. Ik ben niet zo dol op AI-stemmen.
— ZOOT (@LittleTinRobot) 30 juni 2024
Interessant proces. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Ik wilde Runway en hun lip sync uitproberen, dus ik heb deze MJ-afbeelding gemaakt en deze korte film zelf ingesproken. Ik ben niet zo dol op AI-stemmen.
— ZOOT (@LittleTinRobot) 30 juni 2024
Interessant proces. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
Wauw: #runway lip sync, genereert nu dialogen voor meer dan één personage. Geweldig :) Jannet en Mike vertellen er meer over. pic.twitter.com/LTQNEuicoq
— Cristián Parodi (@cristian_parodi) 9 juli 2024
Ontdek de andere kenmerken van Runway
Nuttige artikelen over Runway Lip Sync
Leer hoe je lip sync gebruikt met Runway en ontdek nog meer nuttige artikelen!
Veelgestelde vragen
Is Runway Lip Sync gratis?
U kunt Runway Lip Sync gratis gebruiken met het basisabonnement. Het aantal generaties dat u kunt maken, is echter beperkt. Als u de tool wilt blijven gebruiken, moet u uiteindelijk een betaald abonnement nemen.
Hoeveel personages kan Runway Lip Sync per scène animeren?
U kunt Runway Lip Sync gebruiken om spraakdialogen toe te voegen voor maximaal 10 verschillende sprekers/dialogen per scène. U kunt ook verschillende AI-spraakmodellen voor elk gebruiken, wat u helpt om interactieve visuele sequenties te creëren met diepere storytelling. Lees hier meer over het gebruik van Runway Lip Sync.
Welke beperkingen heeft Runway Lip Sync?
Runway Lip Sync werkt het beste met close-ups van menselijke gezichten die naar voren gericht zijn in de richting van de camera. De tool ondersteunt doorgaans geen dieren- of tekenfilmgezichten, maar het kan soms wel werken. Bovendien mag er geen sprake zijn van significante mond-, camera-, lichaams- of hoofdbewegingen.
Welke videoformaten ondersteunt Runway Lip Sync?
U kunt een breed scala aan populaire videoformaten importeren, zoals MP4, MOV, 3GP, MKV en andere. Als het echter op exporteren aankomt, moet u uw abonnement controleren. Zo kunnen Basic- en Standard-gebruikers alleen video's exporteren in MP4-formaat.
Hoeveel kost het om Runway Lip Sync te gebruiken?
Runway rekent 5 credits per seconde video-uitvoer bij gebruik van de Lip Sync-tool. Houd er rekening mee dat het maximaal 40 seconden per dialoog ondersteunt met maximaal 10 dialogen per visuele scène.
Probeer Runway nu op Pollo AI !
Met Pollo AI , een alles-in-één AI-videogenerator, kunt u de mogelijkheden van Runway probleemloos uitproberen.