Kling AI heeft zojuist zijn nieuwe Kling 2.0 model gelanceerd, met verbeteringen in beeld-naar-video en tekst-naar-video . Kling 2.0 biedt met name betere resultaten met dynamische, actievolle prompts en afbeeldingen, wat kan leiden tot verbluffendere video's. Laten we eens kijken wat er nieuw is in Kling 2.0 en hoe je je tokens optimaal kunt benutten.
Aan de slag met Kling 2.0
Laten we eerst eens kijken wat u allemaal kunt doen met het nieuwe Kling 2.0 -model.
Momenteel ondersteunt KlingAI zowel tekst-naar-video als afbeelding-naar-video met Kling 2.0. Je kunt natuurlijk elke gewenste afbeelding gebruiken, inclusief gegenereerde afbeeldingen; mijn voorbeelden gebruiken afbeeldingen die met Flux zijn gemaakt. Je zult ook een optie 'Multi-Elementen' zien, waarmee je secties in een videoclip kunt verwisselen, toevoegen of verwijderen.
Het enige wat u hoeft te doen, is op bepaalde momenten in de video te pauzeren en de secties toe te voegen die u wilt bewerken (in dit geval wissel ik ze om), en Kling AI doet de rest voor u.
Je zult ook punten willen toevoegen aan verschillende regio's van je selectie om de resultaten te verbeteren. Over het algemeen geldt: hoe meer punten je toevoegt, hoe beter de AI de bewegingen kan volgen en maskeren. Ik heb behoorlijk wat punten aan deze selectie toegevoegd omdat menselijke bewegingen complex zijn met veel bewegende onderdelen.
Maar je bent er nog niet helemaal. Bij het refereren aan video's met bijzonder complexe bewegingen (zoals dansen), krijg je niet de beste resultaten door selecties aan slechts één frame toe te voegen.
Als je video echter niet veel actie bevat, heb je geluk. Je hoeft niet zoveel maskers toe te voegen om een behoorlijk resultaat te krijgen. In dit voorbeeld heb ik maar twee maskers in de videotijdlijn, maar toch slaagde ik erin een redelijk consistent resultaat te krijgen, omdat de bewegingen relatief eenvoudig zijn en de camera niet veel beweegt.
Kling 2.0 versus WAN 2.1
Ik noemde eerder al dat je met Kling 2.0 video's kunt maken, net als met WAN 2.1 VACE, een open-sourcemodel. Hoewel het fijn is om een gratis AI-model lokaal op je computer te hebben draaien, worden de meeste gebruikers beperkt door hun hardware. En tenzij je een top-GPU hebt die speciaal bedoeld is voor AI-modellen, zoals de H100, zul je waarschijnlijk niet de best mogelijke resultaten behalen. Zelfs vlaggenschip-GPU's voor consumenten, zoals de 4090 en 5090, zullen moeite hebben om de kwaliteit van video's te evenaren die gegenereerd worden door premiummodellen zoals Kling 2.0.
Om te laten zien hoe verschillend WAN 2.1 VACE en Kling 2.0 presteren, heb ik dezelfde afbeeldingen en prompts gebruikt en deze omgezet in een image-to-video. De resultaten waren zeer, zeer opvallend.
Ik gebruikte deze afbeelding van feeën die een verjaardagstaart maken in beide modellen. Met WAN 2.1 was de video nogal saai. De feeën stonden grotendeels stil, en de enige echte beweging in de video kwam van de magische bubbels die boven de taart zweefden. Niet bepaald een dynamische scène.
De video van Kling 2.0 daarentegen zat veel meer vol actie. De kleine fee in het midden rende rond de taart, magische effecten vlogen uit hun toverstokken en de taart zelf werd veel groter. Het ziet er veel beter uit dan het resultaat van WAN 2.1. Sterker nog, Kling 2.0 overtreft de capaciteit om snelle scènes te verwerken die van zijn vorige versie, Kling 1.6.
Kling 2.0 versus Kling 1.6
In het volgende voorbeeld liet ik Kling 2.0 een vechtscène tussen twee vrouwelijke personages genereren. De resulterende video bevatte complexe vechtkunstbewegingen en een snelbewegende camera die de twee in de gaten hield terwijl ze vochten. Er waren ook talloze partikeleffecten die de scène extra flair gaven.
Kling 1.6 had daarentegen moeite om het tempo van Kling 2.0 bij te benen. Zelfs met dezelfde personages en prompts was de video van Kling 1.6 veel trager, met nauwelijks camerabewegingen. Je ziet de verbeteringen in Kling 2.0 echt terug in de actiescènes en prompts van Kling 1.6.
De eigenaardigheden van Kling 2.0
Kling 2.0 heeft echter wel zijn eigenaardigheden. Als ik mijn prompt iets te specifiek probeer te maken, weet het model er niet echt goed mee om te gaan. Deze video van een vrouw op een jetski ziet er vreemd uit omdat het hoofd van de vrouw naar achteren is gedraaid.
Als je natuurlijk ogende resultaten wilt, moet je je prompts simpel houden. Met een vereenvoudigde prompt kreeg ik hier een veel mooier resultaat. Dit is ook een goed moment om te vermelden dat Kling 2.0 goed met water overweg kan, met realistische golven en spetters.
Zolang je de prompts simpel houdt, kun je de personages in je video's ook interessante dingen laten doen, zoals hun aandacht van de camera afleiden.
In het eerste frame van deze video kijkt de vrouw naar de camera, maar naarmate de video vordert, rijdt ze weg en draait haar hoofd naar de weg. Dit ziet er veel realistischer uit dan de WAN 2.1-versie van dezelfde prompt; hoewel het open-sourcemodel goed overweg kon met reflecties en licht, is er niet veel beweging te zien in de vrouw die de motor bestuurt.