A Kling AI acaba de lançar o seu novo modelo Kling 2.0 , que traz melhorias na conversão de imagem para vídeo e texto para vídeo . Em particular, o Kling 2.0 oferece melhores resultados com prompts e imagens dinâmicos e cheios de ação, o que pode levar a vídeos mais impressionantes. Vamos analisar as novidades do Kling 2.0 e como pode tirar o máximo partido dos seus tokens.
Introdução ao Kling 2.0
Primeiro, vamos falar sobre o que pode fazer com o novo modelo Kling 2.0 .
Atualmente, o KlingAI suporta opções de texto para vídeo e imagem para vídeo com o Kling 2.0. Pode, naturalmente, utilizar qualquer imagem que desejar, incluindo imagens geradas; os meus exemplos usam imagens feitas com o Flux . Também irá reparar numa opção “Multi-Elementos” , que lhe permite trocar, adicionar ou eliminar secções de um videoclipe.
Tudo o que tem de fazer é pausar em determinados momentos do vídeo, adicionar as secções que pretende editar (nesse caso, estou a trocar) e o Kling AI tratará do resto por si.
Também vai querer adicionar pontos em diferentes regiões da sua seleção para melhorar os resultados. Geralmente, quanto mais pontos adicionar, melhor será a IA a rastrear e mascarar os movimentos. Acrescentei alguns pontos a esta seleção porque o movimento humano é complexo, com muitas peças móveis.
Mas ainda não terminou. Ao referenciar vídeos com movimentos particularmente complexos (como danças), não obterá os melhores resultados adicionando seleções a apenas um fotograma.
Mas se o seu vídeo não tiver muita ação, está com sorte. Não terá de adicionar muitas máscaras para obter um resultado decente. Neste exemplo, tenho apenas duas máscaras na timeline do vídeo, mas ainda assim consegui obter um resultado bastante consistente, uma vez que os movimentos são relativamente simples e a câmara não se move muito.
Kling 2.0 vs WAN 2.1
Referi anteriormente que o Kling 2.0 permite criar vídeos de uma forma muito semelhante ao WAN 2.1 VACE, que é um modelo de código aberto. E embora seja bom ter um modelo de IA gratuito a correr localmente no seu computador, a maioria dos utilizadores está limitada pelo hardware. E a menos que tenha uma GPU de última geração destinada a modelos de IA, como a H100, provavelmente não obterá os melhores resultados possíveis. Mesmo os principais GPUs de consumo, como o 4090 e o 5090, terão dificuldade em igualar a qualidade dos vídeos gerados por modelos premium como o Kling 2.0.
Para mostrar o quão diferente é o desempenho do WAN 2.1 VACE e do Kling 2.0 , utilizei as mesmas imagens e os mesmos prompts e converti-os em imagem para vídeo. Os resultados foram muito, muito visíveis.
Utilizei esta imagem de fadas a fazer um bolo de aniversário em ambos os modelos. Com a WAN 2.1, o vídeo ficou bastante obsoleto. As fadas ficaram praticamente paradas, e o único movimento real no vídeo veio das bolhas mágicas que flutuavam acima do bolo. Não é propriamente uma cena dinâmica.
Por outro lado, o vídeo do Kling 2.0 foi muito mais cheio de ação. A pequena fada no meio correu à volta do bolo, efeitos mágicos saíam das suas varinhas, e o bolo cresceu muito mais. Parece muito melhor que o resultado da WAN 2.1. Na verdade, a capacidade do Kling 2.0 para lidar com cenas rápidas supera a da sua versão anterior, o Kling 1.6.
Kling 2.0 vs Kling 1.6
No exemplo seguinte, fiz com que o Kling 2.0 gerasse uma cena de luta entre duas personagens femininas. O vídeo resultante tinha movimentos complexos de artes marciais e uma câmara em movimento rápido que circulava os dois enquanto lutavam. Houve também muitos efeitos de partículas que deram um toque extra à cena.
Por outro lado, o Kling 1.6 teve dificuldade em acompanhar o ritmo do Kling 2.0. Mesmo com as mesmas personagens e prompt, o vídeo do Kling 1.6 era muito mais lento, com quase nenhum movimento de câmara. Pode realmente ver as melhorias no Kling 2.0 ao compará-lo com o Kling 1.6 utilizando cenas de acção e prompts.
Peculiaridades do Kling 2.0
Mas o Kling 2.0 tem as suas particularidades. Quando tento ser demasiado específico com o meu prompt, o modelo não lida muito bem com isso. Este vídeo de uma mulher num jet ski parece estranho porque a cabeça da mulher está virada para trás.
Se quer obter resultados naturais, precisa de manter as suas instruções simples. Usando um prompt simplificado, obtive aqui um resultado muito mais bonito. Este também seria um bom momento para mencionar que o Kling 2.0 lida muito bem com a água, com ondas e salpicos realistas.
Desde que mantenha os seus prompts simples, também pode fazer com que as personagens dos seus vídeos façam coisas interessantes, como mudar o foco para longe da câmara.
No primeiro frame do vídeo, a mulher olha para a câmara, mas, à medida que o vídeo avança, vai-se embora, virando a cabeça para a estrada. Isto parece muito mais realista do que a versão do mesmo prompt da WAN 2.1; embora o modelo de código aberto possa lidar bem com reflexos e luzes, não há muito movimento da mulher a conduzir a moto.