Kling AI ha appena rilasciato al pubblico Kling 2.0 .
Questa nuova versione è ricca di importanti aggiornamenti, conquistando il primo posto nella classifica dei video AI. Ma è davvero così rivoluzionaria come sembra?
Abbiamo messo alla prova Kling 2.0 , confrontandolo con altri modelli all'avanguardia come Runway Gen 4 e Veo 2 di Google .
Condivideremo i risultati tra poco, ma prima cerchiamo di capire cosa rende speciale Kling 2.0 .
Quali sono le novità di Kling 2.0 ?
Kling 2.0 ha introdotto numerose nuove funzionalità e modifiche.
Sollecitazione visiva multimodale
Una delle aggiunte più significative all'ecosistema Kling è la nuova funzionalità "Multi Elements".
Si tratta di un sistema di prompt visivo multimodale che consente agli utenti di consultare immagini e video all'interno di prompt testuali. Questa funzionalità rappresenta un importante progresso in termini di controllo e precisione, sebbene sia attualmente separata da Kling 2.0 (la cui integrazione è prevista a breve).
Il sistema offre tre funzioni principali:
- Swap: Sostituisci i soggetti nei video esistenti (la funzione presentava errori durante i test)
- Aggiungi: inserisci nuovi elementi dalle immagini di riferimento nei video
- Elimina: Rimuovi dinamicamente gli oggetti indesiderati dalle scene
Nei nostri test, abbiamo utilizzato con successo la funzione "Aggiungi" per inserire una donna che corre (da un'immagine di riferimento) in una scena di lava che entra in un vecchio teatro dell'opera.
Allo stesso modo, la funzione "elimina" ci ha consentito di rimuovere un pappagallo dalla spalla di un robot mantenendo la coerenza visiva per tutto il video.
In particolare, Kling AI fornisce utili modelli di prompt durante il caricamento di materiali di riferimento, eliminando la necessità di memorizzare complesse strutture di prompt: un notevole miglioramento dell'esperienza utente.
Modifiche all'interfaccia e al flusso di lavoro
In questa versione, Kling AI ha introdotto anche diverse modifiche all'interfaccia:
- È stata rimossa la distinzione tra modalità "standard" e "professionale"
- I cursori Creatività vs. Seguire i prompt non sono più disponibili
- La modalità frame non è attualmente supportata con Kling 2.0
- La funzionalità degli elementi originali (per la posizione dei personaggi e i riferimenti agli oggetti) non è ancora compatibile con Kling 2.0
Kling 2.0 vs. Kling 1.6: cosa è migliorato?
Kling 2.0 eccelle nella qualità del movimento e nella simulazione fisica, ma occasionalmente potresti preferire la coerenza delle scene di Kling 1.6 per progetti specifici.
Fluidità del movimento e naturalismo
Kling 2.0 migliora notevolmente la qualità del movimento. Gli animali si muovono con fluidità naturale, invece dei movimenti a scatti e irrealistici tipici di Kling 1.6.
Le espressioni umane sono più convincenti, eliminando il problema del "muovere le labbra senza parlare". Le emozioni facciali appaiono naturali e coerenti in tutte le sequenze.
Gestione dinamica delle scene
Le creature volanti mostrano movimenti alari corretti e schemi di planata naturali. Le rigide traiettorie di volo di Kling 1.6 sono sostituite da dinamiche aeree realistiche.
La fisica ambientale è migliorata significativamente. Gli effetti dell'acqua, le interazioni tra oggetti e le proprietà dei materiali si comportano in modo più realistico.
Il compromesso della coerenza
Kling 2.0 produce scene più dinamiche, ma a volte a scapito della coerenza. I personaggi possono apparire o scomparire inaspettatamente in sequenze complesse.
Kling 1.6, pur essendo visivamente meno impressionante, ha mantenuto una migliore coerenza delle scene in tutti i video.
Comprensione rapida
Le istruzioni della telecamera, come panoramica, inclinazione e spostamento della messa a fuoco, vengono eseguite con maggiore precisione in Kling 2.0.
Le azioni sequenziali sono più comprensibili. Prompt composti da più parti come "lampadario che cade nella lava e prende fuoco" seguono un ordine logico corretto.
Limitazioni tecniche
Entrambe le versioni presentano problemi con le mani, il rendering del testo e le interazioni complesse, sebbene la versione 2.0 mostri modesti miglioramenti in questi ambiti.
Parametri di generazione
Kling 2.0 rimuove i cursori per la creatività/seguimento dei prompt e unisce le modalità standard/professionale in un'interfaccia unificata.
Questo approccio semplificato può essere vantaggioso per i principianti, ma limita le opzioni per gli utenti avanzati, abituati a perfezionare i propri output.
Test Kling 2.0
Volevamo vedere come Kling 2.0 si confrontava con Runway Gen 4 e Google Veo 2.
Abbiamo quindi effettuato una serie di test su tutti e tre i generatori video AI utilizzando gli stessi prompt.
Capacità di adesione rapida e rendering del movimento
Il nostro primo test si è concentrato sulla capacità di Kling 2.0 di comprendere ed eseguire prompt complessi che coinvolgono sia il soggetto che il movimento della telecamera. Il compito era semplice ma impegnativo: una donna guarda le sue mani e un pappagallo le atterra sulle mani.
Kling 2.0 ha fatto un lavoro impressionante nel seguire alla lettera le istruzioni. L'azione si è svolta in modo naturale, con una chiara sequenza di eventi.
L'output di Runway, d'altra parte, ha mancato leggermente il bersaglio. Il pappagallo era già presente quando la donna ha abbassato lo sguardo, il che non è in linea con i requisiti del prompt.
Veo 2 di Google ha seguito le istruzioni, ma non ha offerto l'azione chiara e sequenziale offerta da Kling 2.0 .
Valutazione degli effetti ambientali: simulazione delle inondazioni
Successivamente, abbiamo testato la capacità di Kling 2.0 di riprodurre effetti ambientali, in particolare uno scenario di inondazione in un contesto urbano.
Kling 2.0 ha avuto un risultato ammirevole, descrivendo con precisione le acque alluvionali che riempivano le strade e spingevano via le auto.
Runway ha dovuto affrontare questa sfida, optando invece per la raffigurazione di un'enorme onda oceanica che non rientrava nello slogan.
Veo 2 è riuscito a riprodurre l'allagamento, ma mancava di dinamismo e non catturava appieno lo scenario descritto nel prompt.
Azione dinamica e comprensione rapida in scenari ad alta velocità
Abbiamo spinto Kling 2.0 oltre testandone la capacità di gestire sequenze d'azione ad alta velocità. Il compito prevedeva una donna al galoppo su un cavallo con la telecamera che le girava intorno.
Kling 2.0 ha prodotto un output dinamico e visivamente accattivante, anche se ha avuto qualche difficoltà a mantenere la coerenza facciale durante l'azione ad alta velocità.
Il risultato di Runway sembrava più una scena al rallentatore, priva del dinamismo ad alta velocità che cercavamo.
Purtroppo Veo 2 non ha prodotto risultati utilizzabili in questo scenario.
Rendering di oggetti in levitazione e movimenti complessi della telecamera
In questo test abbiamo sfidato Kling 2.0 a riprodurre una scena con oggetti in levitazione e un movimento di inclinazione della telecamera verso il basso.
Kling 2.0 ha eccelso ancora una volta, raffigurando accuratamente gli oggetti fluttuanti e seguendo il movimento della telecamera specificato. Runway e Veo 2 hanno avuto difficoltà con questo compito, non riuscendo a riprodurre completamente gli oggetti in levitazione e il movimento della telecamera come descritto nel prompt.
La sfida definitiva: modelli video AI contro scene di combattimento tra samurai
La sfida finale era quella di riprodurre una scena di combattimento tra due samurai, un compito che storicamente si è rivelato arduo per i modelli video basati sull'intelligenza artificiale.
Kling 2.0, pur essendo migliorato rispetto alle versioni precedenti, aveva ancora difficoltà a riprodurre combattimenti dall'aspetto naturale. La coerenza delle spade diminuiva, soprattutto quando interagivano, e la scena nel complesso non appariva realistica come speravamo.
Runway Gen 4 e Veo 2 hanno riscontrato problematiche simili, con problemi di coerenza e mancanza di movimenti naturali nelle scene di combattimento.
Vantaggi e limiti di Kling 2.0
Nel complesso, riteniamo che Kling 2.0 presenti i seguenti pro e contro.
Punti di forza Kling 2.0
- Aderenza alle richieste: Kling 2.0 mostra una notevole aderenza alle richieste complesse, in particolare quelle che implicano azioni multiple ed effetti ambientali.
- Realismo nelle interazioni: il modello eccelle nel riprodurre interazioni sottili e movimenti realistici, migliorando la qualità visiva complessiva.
Sfide Kling 2.0
- Mantenimento della coerenza: Kling 2.0 ha difficoltà a mantenere la coerenza durante le sequenze d'azione complesse e ad alta velocità, il che porta a incongruenze nei risultati.
- Rendering di scene complesse: nonostante i miglioramenti, Kling 2.0 incontra ancora delle difficoltà nel rendering di scene di combattimento realistiche e movimenti dinamici della telecamera.
Prezzi e accessibilità
- Implicazioni sui costi: il prezzo di Kling 2.0, in particolare per le generazioni di video brevi, potrebbe essere un problema per alcuni utenti, indicando la necessità di opzioni più convenienti.
Considerazioni finali: Kling 2.0 vale la pena?
Kling 2.0 rappresenta un significativo passo avanti nella generazione di video basati sull'intelligenza artificiale, offrendo notevoli miglioramenti nell'aderenza a richieste complesse e nel rendering di interazioni realistiche.
Tuttavia, presenta ancora delle difficoltà nel mantenere la coerenza durante le scene dinamiche. Nonostante i progressi, è opportuno valutare i vantaggi in rapporto al costo attuale e alle esigenze specifiche dei progetti quando si prende in considerazione Kling 2.0.
Nota: questo articolo è stato scritto sulla base del contenuto del seguente video: