Kling AI vient de publier Kling 2.0 au public.
Cette nouvelle version regorge d'améliorations majeures et se hisse en tête du classement des vidéos IA. Mais est-elle vraiment aussi révolutionnaire qu'elle le paraît ?
Nous avons mis Kling 2.0 à l'épreuve, en le comparant à d'autres modèles de pointe comme Runway Gen 4 et Veo 2 de Google .
Nous partagerons les résultats dans un instant, mais d'abord, comprenons ce qui rend Kling 2.0 spécial.
Quoi de neuf dans Kling 2.0 ?
Kling 2.0 a introduit plusieurs nouvelles fonctionnalités et modifications.
Invite visuelle multimodale
L’un des ajouts les plus importants à l’écosystème Kling est la nouvelle fonctionnalité « Multi Elements ».
Il s'agit d'un système d'invite visuelle multimodal qui permet aux utilisateurs de référencer des images et des vidéos dans des invites textuelles. Cette fonctionnalité représente une avancée majeure en termes de contrôle et de précision, bien qu'elle soit actuellement distincte de Kling 2.0 (l'intégration étant prévue prochainement).
Le système offre trois fonctions principales :
- Échange : remplacer les sujets dans les vidéos existantes (la fonctionnalité rencontrait des erreurs lors des tests)
- Ajouter : insérer de nouveaux éléments à partir d'images de référence dans des vidéos
- Supprimer : supprimer les objets indésirables des scènes de manière dynamique
Lors de nos tests, nous avons utilisé avec succès la fonction « ajouter » pour insérer une femme en train de courir (à partir d'une image de référence) dans une scène de lave entrant dans un vieil opéra.
De même, la fonction « supprimer » nous a permis de retirer un perroquet de l’épaule d’un robot tout en conservant une cohérence visuelle tout au long de la vidéo.
Notamment, Kling AI fournit des modèles d'invite utiles lors du téléchargement de documents de référence, éliminant ainsi le besoin de mémoriser des structures d'invite complexes - une amélioration réfléchie de l'expérience utilisateur.
Modifications de l'interface et du flux de travail
Dans cette version, Kling AI a également introduit plusieurs modifications d'interface :
- La distinction entre les modes « standard » et « professionnel » a été supprimée
- Les curseurs de créativité par rapport aux curseurs de suivi d'invite ne sont plus disponibles
- Le mode Frame n'est actuellement pas pris en charge avec Kling 2.0
- Les éléments d'origine (pour l'emplacement des personnages et les références d'objets) ne sont pas encore compatibles avec Kling 2.0
Kling 2.0 vs. Kling 1.6 : quelles améliorations ont été apportées ?
Kling 2.0 excelle en termes de qualité de mouvement et de simulation physique, mais vous pouvez parfois préférer la cohérence de scène de Kling 1.6 pour des projets spécifiques.
Fluidité du mouvement et naturalisme
Kling 2.0 améliore considérablement la qualité des mouvements. Les animaux se déplacent avec une fluidité naturelle, contrairement aux mouvements saccadés et irréalistes de Kling 1.6.
Les expressions humaines sont plus convaincantes, éliminant le problème du « bouge les lèvres sans parler ». Les émotions faciales paraissent naturelles et cohérentes tout au long des séquences.
Gestion dynamique des scènes
Les créatures volantes présentent des mouvements d'ailes et des schémas de vol naturels. Les trajectoires de vol rigides de Kling 1.6 sont remplacées par une dynamique aérienne réaliste.
La physique environnementale s'est considérablement améliorée. Les effets de l'eau, les interactions entre objets et les propriétés des matériaux se présentent de manière plus réaliste.
Le compromis de cohérence
Kling 2.0 produit des scènes plus dynamiques, mais parfois au détriment de la cohérence. Des personnages peuvent apparaître ou disparaître de manière inattendue dans des séquences complexes.
Kling 1.6, bien que moins impressionnant visuellement, a maintenu une meilleure cohérence des scènes tout au long des vidéos.
Compréhension rapide
Les instructions de la caméra telles que le panoramique, l'inclinaison et les changements de mise au point s'exécutent avec une plus grande précision dans Kling 2.0.
Les actions séquentielles sont mieux comprises. Les messages en plusieurs parties, comme « un lustre tombant dans la lave et s'enflammant », suivent un ordre logique approprié.
Limitations techniques
Les deux versions ont des difficultés avec les mains, le rendu du texte et les interactions complexes, bien que la version 2.0 montre des améliorations modestes dans ces domaines.
Paramètres de génération
Kling 2.0 supprime les curseurs de créativité/suivi d'invite et fusionne les modes standard/professionnel dans une interface unifiée.
Cette approche simplifiée peut être bénéfique pour les débutants, mais limite les options pour les utilisateurs avancés habitués à affiner leurs résultats.
Test de Kling 2.0
Nous voulions voir comment Kling 2.0 se comparait à Runway Gen 4 et Google Veo 2.
Nous avons donc effectué une série de tests sur les trois générateurs de vidéos IA en utilisant les mêmes invites.
Adhérence rapide et capacités de rendu de mouvement
Notre premier test a porté sur la capacité de Kling 2.0 à comprendre et à exécuter des instructions complexes impliquant à la fois le sujet et le mouvement de la caméra. La tâche était simple mais complexe : une femme regarde ses mains, et un perroquet se pose dessus.
Kling 2.0 a parfaitement suivi le message. L'action s'est déroulée naturellement, avec une séquence d'événements claire et précise.
En revanche, la production de Runway a légèrement raté son objectif. Le perroquet était déjà présent lorsque la femme a baissé les yeux, ce qui ne correspond pas aux exigences du message.
Le Veo 2 de Google a suivi l'invite, mais n'a pas eu l'action claire et séquentielle que Kling 2.0 a fournie.
Évaluation des effets environnementaux : simulation d'inondation
Ensuite, nous avons testé la capacité de Kling 2.0 à restituer les effets environnementaux, en particulier un scénario d’inondation dans un environnement urbain.
Kling 2.0 a réalisé une performance admirable, représentant avec précision les eaux de crue remplissant les rues et repoussant les voitures.
Runway a eu du mal à relever ce défi, choisissant plutôt de montrer une énorme vague océanique qui ne correspondait pas à l'invite.
Veo 2 a réussi à restituer l'inondation mais manquait de dynamisme et n'a pas entièrement capturé le scénario décrit dans l'invite.
Action dynamique et compréhension rapide dans les scénarios à grande vitesse
Nous avons poussé Kling 2.0 plus loin en testant sa capacité à gérer des séquences d'action à grande vitesse. La tâche consistait à filmer une femme galopant à cheval, la caméra tournant autour d'elle.
Kling 2.0 a fourni un rendu dynamique et visuellement attrayant, même s'il a eu un peu de mal à maintenir la cohérence faciale pendant l'action à grande vitesse.
La sortie de Runway ressemblait davantage à une scène au ralenti, dépourvue du dynamisme à grande vitesse que nous recherchions.
Veo 2, malheureusement, n'a pas fourni de résultats exploitables dans ce scénario.
Rendu d'objets en lévitation et de mouvements de caméra complexes
Dans ce test, nous avons mis au défi Kling 2.0 de restituer une scène avec des objets en lévitation et un mouvement d'inclinaison de la caméra vers le bas.
Kling 2.0 a une fois de plus excellé, représentant avec précision les objets flottants et suivant les mouvements de caméra spécifiés. Runway et Veo 2 ont rencontré des difficultés, ne parvenant pas à restituer parfaitement les objets en lévitation et les mouvements de caméra décrits dans le message.
Le défi ultime : modèles vidéo IA vs scène de combat de samouraï
Le défi final consistait à restituer une scène de combat entre deux samouraïs, une tâche qui s’est historiquement avérée difficile pour les modèles vidéo d’IA.
Kling 2.0, bien qu'amélioré par rapport aux versions précédentes, peinait encore à rendre les combats naturels. La cohérence des épées diminuait, notamment lors des interactions, et la scène globale n'était pas aussi réaliste que prévu.
Runway Gen 4 et Veo 2 ont été confrontés à des problèmes similaires, avec des problèmes de cohérence et un manque de mouvement naturel dans les scènes de combat.
Avantages et limites de Kling 2.0
Dans l’ensemble, nous pensons que Kling 2.0 présente les avantages et les inconvénients suivants.
Points forts de Kling 2.0
- Adhésion rapide : Kling 2.0 montre une adhésion remarquable aux invites complexes, en particulier celles impliquant de multiples actions et effets environnementaux.
- Réalisme dans les interactions : Le modèle excelle dans le rendu d'interactions subtiles et de mouvements réalistes, améliorant ainsi la qualité visuelle globale.
Défis de Kling 2.0
- Maintien de la cohérence : Kling 2.0 a du mal à assurer la cohérence lors des séquences d'action complexes et à grande vitesse, ce qui entraîne des incohérences dans les résultats.
- Rendu de scènes complexes : malgré les améliorations, Kling 2.0 est toujours confronté à des défis dans le rendu de scènes de combat réalistes et de mouvements de caméra dynamiques.
Tarifs et accessibilité
- Implications financières : le prix de Kling 2.0, en particulier pour les générations de vidéos courtes, pourrait être une source d'inquiétude pour certains utilisateurs, indiquant un besoin d'options plus abordables.
Réflexions finales : Kling 2.0 en vaut-il la peine ?
Kling 2.0 représente une avancée significative dans la génération de vidéos IA, offrant des améliorations impressionnantes dans le respect des invites complexes et le rendu des interactions réalistes.
Cependant, il reste difficile de maintenir la cohérence lors des scènes dynamiques. Malgré ses avancées, il est important de comparer les avantages de Kling 2.0 au coût actuel et aux besoins spécifiques de vos projets.
Remarque : cet article a été rédigé à partir du contenu de la vidéo suivante :