De Lip Sync-functie is een nuttige toevoeging aan het populaire Runway AI videogeneratiemodel. Het wordt gebruikt voor het synchroniseren van lipbewegingen van personages of menselijke onderwerpen in AI-video's met spraakaudio en het biedt veel bruikbaarheid. Maar omdat het een vrij nieuwe functie is, weten veel gebruikers niet hoe het werkt. Deze gids onderzoekt hoe je de Lip Sync-functie van Runway op een eenvoudige manier kunt gebruiken.
Wat is de lipsynchronisatie van Runway AI?
Lip Sync is, zoals de naam al aangeeft, een functie voor het synchroniseren van spraakaudio met lipbewegingen van de personages in je AI-video's. Met andere woorden, je kunt het gebruiken om AI-video's te maken waarin personages realistisch hun mond en gezicht bewegen om te matchen met een tekstscript dat je in je prompts kunt schrijven of als een apart audiobestand kunt uploaden.
De toepassingen hiervan zijn verstrekkend. Makers kunnen Lip Sync gebruiken om bijvoorbeeld realistische scènes te creëren van personages die met elkaar in dialoog gaan, of een toespraak voorlezen, of een statement maken. Dit opent nieuwe mogelijkheden in termen van het soort content – zoals film- en tv-achtige content – dat je theoretisch zou kunnen maken met Runway AI.
Hoe Lip Sync te gebruiken in Runway AI
Nu je weet wat de Lip Sync-functie inhoudt, gaan we kijken hoe je hem gebruikt. Hier is een eenvoudige stapsgewijze handleiding, compleet met screenshots, om je precies te laten zien hoe je Lip Sync kunt gebruiken om AI-video's te maken met perfect gesynchroniseerde audio.
Stap 1. Toegang tot de Lip Sync Tool
De eerste stap is eenvoudig. Als u de Lip Sync-tool wilt gebruiken, moet u klikken en "Lip Sync Video" selecteren onder de lijst met "Runway's AI Tools", die u kunt vinden op het Runway -dashboard.
Stap 2. Voeg een video of afbeelding toe
Vervolgens heb je een afbeelding of video nodig om te gebruiken als basis voor je uiteindelijke creatie. Je kunt slepen en neerzetten of klikken om een video of afbeelding te uploaden in een van de ondersteunde formaten. Als je een video gebruikt, zorg er dan voor dat het personage dat je wilt zien spreken, aanwezig is in het allereerste frame.
Stap 3. Selecteer uw luidspreker
Zodra uw afbeelding of video is geladen in Runway, probeert het automatisch het gezicht van uw speaker te detecteren. Meestal zou het geen moeite moeten hebben om de hoofdfiguur in de afbeelding te spotten, maar het kan lastig zijn als u een afbeelding uploadt met meerdere personen of onduidelijke figuren. Als dat gebeurt, kunt u zelf op de afbeelding klikken en het vak naar het gezicht van uw speaker slepen.
Stap 4. Kies een stem
Klik op het microfoonpictogram naast uw luidspreker om een stem voor hen te selecteren. Runway biedt u een heleboel verschillende stemopties en u kunt elk ervan vooraf beluisteren door op de kleine knop "Play" te drukken. Wanneer u er een vindt die u wilt, klikt u erop om deze te selecteren.
Stap 5. Voer uw script in of upload uw audio
Vervolgens moet je de tool vertellen wat je wilt dat je spreker zegt. Hiervoor heb je twee opties. Je kunt op het tekstvak naast je spreker klikken en typen wat je wilt dat hij zegt. Of je kunt een audiobestand uploaden dat al een opname bevat van de toespraak die je in de uiteindelijke video wilt horen.
Stap 6. (Optioneel) Voeg extra luidsprekers toe
Dit is een optionele stap voor situaties waarin u meerdere mensen in uw video wilt laten spreken. U kunt op de knop 'Spreker toevoegen' onder aan het sessievenster klikken om ze allemaal toe te voegen en vervolgens op het profielpictogram voor elke spreker klikken om deze te matchen met een van de gedetecteerde gezichten in uw video. Typ vervolgens uw script of upload de audio die u wilt horen.
Stap 7. Klik op de knop Genereren
Zodra je alle gewenste dialogen hebt toegevoegd, kun je gewoon op de knop "Generate" onderaan de pagina klikken en even wachten terwijl Runway je video maakt. Je kunt hem dan bekijken, opslaan en delen.
Merk daarnaast op dat je Lip Sync ook kunt toevoegen aan AI-gegenereerde video's die zijn gemaakt met alle verschillende Runway modellen, zoals Gen-2, Gen-3 en Gen-3 Alpha Turbo. Je hoeft alleen maar je video te maken en vervolgens op "Action" en vervolgens op "Lip Sync" te klikken.
Beste praktijken voor het gebruik van lipsynchronisatie op de Runway
De Lip Sync-functie in Runway is handig en leuk om te gebruiken, maar het is niet perfect. Als u de beste resultaten met deze functie wilt behalen, moet u bepaalde aanbevolen best practices volgen, namelijk:
- Als u geüploade spraakbestanden gebruikt, houd ze dan maximaal 40 seconden lang.
- Laat je personages naar voren kijken, richting de camera.
- Gebruik alleen menselijke gezichten . In de toekomst worden er misschien ook dieren toegevoegd, maar die werken nu nog niet.
- Zorg dat de hoofden en schouders van je personages in beeld zijn, maar zoom niet te veel in of uit.
- Kies voor fotorealistische karakterstijlen, niet voor geanimeerde of cartoonachtige stijlen.
- Vermijd overmatige bewegingen van het lichaam, de handen of de camera.
- Zorg voor een consistente belichting in uw AI-video's.
- Vermijd snelle overgangen of overgangen die de audio-/spraakstroom verstoren.
- Zorg ervoor dat u de ondersteunde audio- en videobestandstypen gebruikt.
- Probeer je te beperken tot één personage in het frame. Het werkt minder goed met meerdere gezichten.
Probeer vandaag nog Lip Sync van Runway AI met Pollo AI
Als je de Runway Lip Sync-functie wilt testen, kun je dat eenvoudig en gratis doen op Pollo AI! Pollo AI is een toonaangevende AI-videogenerator die je toegang geeft tot een reeks AI-videogeneratiemodellen, waaronder Runway's Gen 2 , Gen 3 Alpha en Turbo , Hailuo AI en Luma AI , plus anderen. Het biedt ook een reeks tools en voordelen, zoals sjablonen voor het maken van AI-kusvideo's. Je kunt ze allemaal testen, allemaal gratis en allemaal op één plek met Pollo AI.