Kling AI ha appena rilasciato il suo nuovo modello Kling 2.0 , che porta con sé miglioramenti nelle funzionalità di conversione da immagine a video e da testo a video . In particolare, Kling 2.0 vanta risultati migliori con prompt e immagini dinamiche e ricche di azione, che possono dare vita a video più accattivanti. Vediamo le novità di Kling 2.0 e come sfruttare al meglio i tuoi token.
Introduzione a Kling 2.0
Per prima cosa, parliamo di cosa puoi fare con il nuovo modello Kling 2.0 .
Attualmente, KlingAI supporta sia le opzioni di conversione da testo a video che da immagine a video con Kling 2.0. Naturalmente, puoi usare qualsiasi immagine desideri, comprese quelle generate; i miei esempi utilizzano immagini create con Flux . Noterai anche l' opzione "Multi-Elementi" , che ti permette di scambiare, aggiungere o eliminare sezioni da un videoclip.
Tutto quello che devi fare è mettere in pausa in determinati momenti del video, aggiungere le sezioni che vuoi modificare (in questo caso, sto effettuando uno scambio) e Kling AI penserà al resto per te.
Per migliorare i risultati, è anche consigliabile aggiungere punti in diverse aree della selezione. In genere, più punti si aggiungono, migliore sarà la capacità dell'IA di tracciare e mascherare i movimenti. Ho aggiunto diversi punti in questa selezione perché il movimento umano è complesso e presenta molte parti mobili.
Ma non è ancora finita. Quando si fa riferimento a video con movimenti particolarmente complessi (come i balli), non si otterranno i risultati migliori aggiungendo selezioni a un solo fotogramma.
Se il tuo video non ha molta azione, però, sei fortunato. Non avrai bisogno di aggiungere così tante maschere per ottenere un risultato decente. In questo esempio, ho solo due maschere nella timeline del video, eppure sono riuscito a ottenere un risultato abbastanza coerente, dato che i movimenti sono relativamente semplici e la telecamera non si muove molto.
Kling 2.0 contro WAN 2.1
Ho accennato in precedenza che Kling 2.0 consente di creare video in modo molto simile a WAN 2.1 VACE, che è un modello open source. E sebbene sia bello avere un modello di intelligenza artificiale gratuito in esecuzione locale sul computer, la maggior parte degli utenti è limitata dall'hardware. E a meno che non si disponga di una GPU di fascia alta progettata per i modelli di intelligenza artificiale, come l'H100, probabilmente non si otterranno i migliori risultati possibili. Persino le GPU consumer di punta come la 4090 e la 5090 faranno fatica a eguagliare la qualità dei video generati tramite modelli premium come Kling 2.0.
Per mostrare le differenze di prestazioni tra WAN 2.1 VACE e Kling 2.0 , ho utilizzato le stesse immagini e gli stessi prompt e li ho trasformati in un'immagine video. I risultati sono stati davvero notevoli.
Ho usato questa immagine di fate che preparano una torta di compleanno in entrambi i modelli. Con WAN 2.1, il video era piuttosto noioso. Le fate rimanevano per lo più immobili e l'unico vero movimento nel video proveniva dalle bolle magiche che fluttuavano sopra la torta. Non proprio una scena dinamica.
D'altra parte, il video di Kling 2.0 era molto più ricco d'azione. La fatina al centro correva intorno alla torta, gli effetti magici volavano dalle bacchette e la torta stessa si ingrandiva notevolmente. Il risultato era decisamente migliore rispetto a quello di WAN 2.1. In effetti, la capacità di Kling 2.0 di gestire scene frenetiche supera quella della versione precedente, Kling 1.6.
Kling 2.0 contro Kling 1.6
In questo prossimo esempio, ho chiesto a Kling 2.0 di generare una scena di combattimento tra due personaggi femminili. Il video risultante presentava complessi movimenti di arti marziali e una telecamera in rapido movimento che inquadrava i due personaggi durante il combattimento. C'erano anche molti effetti particellari che davano alla scena un tocco in più.
D'altro canto, Kling 1.6 ha faticato a tenere il passo con Kling 2.0. Pur mantenendo gli stessi personaggi e gli stessi prompt, il video di Kling 1.6 era molto più lento, con pochissimi movimenti di telecamera. I miglioramenti di Kling 2.0 si notano chiaramente confrontandolo con Kling 1.6, utilizzando scene d'azione e prompt.
Le stranezze di Kling 2.0
Kling 2.0 ha però le sue stranezze. Quando cerco di essere un po' troppo specifico con il mio prompt, il modello non lo gestisce molto bene. Questo video di una donna su una moto d'acqua sembra strano perché la testa della donna è girata all'indietro.
Per ottenere risultati dall'aspetto naturale, è necessario mantenere i prompt semplici. Utilizzando un prompt semplificato, ho ottenuto un risultato molto più gradevole. È anche il momento giusto per sottolineare che Kling 2.0 gestisce l'acqua piuttosto bene, con onde e schizzi realistici.
Finché mantieni semplici i tuoi prompt, puoi anche far fare ai personaggi dei tuoi video cose interessanti, come ad esempio spostare la loro attenzione dalla telecamera.
Il primo fotogramma di questo video mostra la donna che guarda la telecamera, ma poi, proseguendo, si allontana, girando la testa verso la strada. Questo sembra molto più realistico della versione WAN 2.1 dello stesso prompt; sebbene il modello open source gestisse bene riflessi e luci, non c'è molto movimento da parte della donna alla guida della motocicletta.