Kling AI только что выпустила Kling 2.0 для широкой публики.
Этот новый релиз наполнен крупными обновлениями, претендующими на первое место в рейтингах видео AI. Но действительно ли он такой новаторский, как звучит?
Мы протестировали Kling 2.0 , сравнив его с другими современными моделями, такими как Runway Gen 4 и Veo 2 от Google .
Чуть позже мы поделимся результатами, но сначала давайте разберемся, что делает Kling 2.0 особенным.
Что нового в Kling 2.0 ?
В Kling 2.0 представлено несколько новых функций и изменений.
Мультимодальное визуальное подсказывание
Одним из наиболее значимых дополнений к экосистеме Kling является новая функция «Мультиэлементы».
Это многомодальная визуальная система подсказок, которая позволяет пользователям ссылаться на изображения и видео в текстовых подсказках. Эта функция представляет собой значительный прогресс в управлении и точности, хотя в настоящее время она отделена от Kling 2.0 (скоро ожидается интеграция).
Система предлагает три основные функции:
- Замена: замена субъектов в существующих видео (во время тестирования возникали ошибки)
- Добавить: Вставить новые элементы из справочных изображений в видео
- Удалить: Динамическое удаление нежелательных объектов из сцен.
В наших тестах мы успешно использовали функцию «добавить», чтобы вставить бегущую женщину (из эталонного изображения) в сцену лавы, входящей в старый оперный театр.
Аналогичным образом функция «удалить» позволила нам снять попугая с плеча робота, сохранив при этом визуальную связность на протяжении всего видео.
В частности, Kling AI предоставляет полезные шаблоны подсказок при загрузке справочных материалов, устраняя необходимость запоминать сложные структуры подсказок, что является продуманным улучшением пользовательского опыта.
Изменения интерфейса и рабочего процесса
В этой версии Kling AI также внес несколько изменений в интерфейс:
- Устранено различие между «стандартным» и «профессиональным» режимами.
- Ползунки «Творчество» и «Следование подсказкам» больше не доступны
- В настоящее время режим кадра не поддерживается в Kling 2.0.
- Оригинальная функция элементов (для расположения персонажей и ссылок на объекты) пока несовместима с Kling 2.0
Kling 2.0 против Kling 1.6: что улучшилось?
Kling 2.0 отличается превосходным качеством движения и симуляцией физики, но иногда для определенных проектов вам может потребоваться согласованность сцен Kling 1.6.
Плавность движения и натурализм
Kling 2.0 значительно улучшает качество движения. Животные двигаются с естественной плавностью вместо резких, нереалистичных движений, которые можно было увидеть в Kling 1.6.
Человеческие выражения более убедительны, устраняя проблему «движущихся губ без слов». Эмоции на лице выглядят естественными и последовательными на протяжении всего эпизода.
Динамическая обработка сцен
Летающие существа демонстрируют правильные движения крыльев и естественные схемы планирования. Жесткие траектории полета Kling 1.6 заменены реалистичной воздушной динамикой.
Физика окружающей среды значительно улучшилась. Водные эффекты, взаимодействие объектов и свойства материалов ведут себя более реалистично.
Компромисс когерентности
Kling 2.0 производит более динамичные сцены, но иногда за счет связности. Персонажи могут неожиданно появляться или исчезать в сложных последовательностях.
Kling 1.6, хотя и выглядит менее впечатляюще, обеспечивает лучшую согласованность сцен на протяжении всего видео.
Быстрое понимание
Такие команды камеры, как панорамирование, наклон и смещение фокуса, выполняются в Kling 2.0 с большей точностью.
Последовательные действия лучше понимаются. Многокомпонентные подсказки, такие как «люстра падает в лаву и взрывается пламенем», следуют правильному логическому порядку.
Технические ограничения
Обе версии испытывают трудности с руками, отображением текста и сложными взаимодействиями, хотя версия 2.0 демонстрирует скромные улучшения в этих областях.
Параметры генерации
В Kling 2.0 удалены ползунки «творчество/следование подсказкам» и объединены стандартный/профессиональный режимы в единый интерфейс.
Такой упрощенный подход может быть полезен новичкам, но ограничивает возможности продвинутых пользователей, привыкших к тонкой настройке своих выходных данных.
Тестирование Kling 2.0
Мы хотели посмотреть, как Kling 2.0 покажет себя по сравнению с Runway Gen 4 и Google Veo 2.
Поэтому мы провели серию тестов на всех трех видеогенераторах на основе ИИ, используя одни и те же подсказки.
Возможности быстрого присоединения и визуализации движения
Наш первый тест был сосредоточен на способности Kling 2.0 понимать и выполнять сложные подсказки, включающие как движение объекта, так и камеры. Задача была простой, но сложной: женщина смотрит на свои руки, и попугай приземляется на ее руки.
Kling 2.0 проделал впечатляющую работу, следуя подсказке до последней буквы. Действие разворачивалось естественно, с четкой последовательностью событий.
С другой стороны, вывод Runway немного не дотянул до цели. Попугай уже был там, когда женщина посмотрела вниз, что не соответствует требованиям подсказки.
Veo 2 от Google выполнил подсказку, но ему не хватило четких и последовательных действий, которые обеспечивал Kling 2.0 .
Оценка воздействия на окружающую среду: моделирование наводнения
Затем мы проверили способность Kling 2.0 визуализировать эффекты окружающей среды, в частности сценарий наводнения в городских условиях.
Kling 2.0 справился превосходно, точно изобразив потоки воды, затопившие улицы и разбросавшие автомобили.
Runway столкнулся с этой проблемой, решив вместо этого показать огромную океанскую волну, которая не соответствовала заданию.
Veo 2 удалось отобразить наводнение, но ему не хватило динамики, и он не в полной мере передал сценарий, описанный в подсказке.
Динамичные действия и быстрое понимание в высокоскоростных сценариях
Мы продвинули Kling 2.0 дальше, протестировав его способность обрабатывать высокоскоростные последовательности действий. Задача включала женщину, скачущую на лошади, с камерой, вращающейся вокруг нее.
Kling 2.0 создал динамичный, визуально привлекательный результат, хотя ему немного не хватало связности лиц во время динамичных сцен.
Результат работы «Runway» больше напоминал замедленную съемку, лишенную той динамичности, к которой мы стремились.
К сожалению, Veo 2 не дал приемлемых результатов в этом сценарии.
Рендеринг левитирующих объектов и сложных движений камеры
В этом тесте мы попросили Kling 2.0 визуализировать сцену с левитирующими объектами и наклоном камеры вниз.
Kling 2.0 снова отличился, точно изобразив парящие объекты и следуя заданному движению камеры. Runway и Veo 2 с трудом справились с этой задачей, не сумев полностью отобразить левитирующие объекты и движение камеры, как описано в подсказке.
Главный вызов: видеомодели ИИ против сцены боя самураев
Последней задачей было визуализировать сцену боя между двумя самураями — задача, которая исторически оказалась сложной для видеомоделей ИИ.
Kling 2.0, хотя и улучшился по сравнению с предыдущими версиями, все еще испытывал трудности с визуализацией естественно выглядящих боев. Слаженность мечей снизилась, особенно когда они взаимодействовали, и общая сцена не выглядела настолько реалистично, как мы надеялись.
Runway Gen 4 и Veo 2 столкнулись с похожими проблемами: проблемами согласованности и отсутствием естественных движений в сценах драк.
Преимущества и ограничения Kling 2.0
В целом, мы считаем, что Kling 2.0 имеет следующие плюсы и минусы.
Сильные стороны Kling 2.0
- Соблюдение подсказок: Kling 2.0 демонстрирует замечательную приверженность сложным подсказкам, особенно тем, которые включают в себя несколько действий и эффектов окружающей среды.
- Реализм взаимодействий: модель превосходно передает тонкие взаимодействия и реалистичные движения, улучшая общее визуальное качество.
Проблемы Kling 2.0
- Поддержание согласованности: Kling 2.0 испытывает трудности с согласованностью во время высокоскоростных и сложных последовательностей действий, что приводит к несоответствиям в выходных данных.
- Рендеринг сложных сцен: Несмотря на улучшения, Kling 2.0 по-прежнему сталкивается с трудностями при рендеринге реалистичных сцен боя и динамических движений камеры.
Цены и доступность
- Финансовые последствия: цена Kling 2.0, особенно для коротких видео, может вызвать беспокойство у некоторых пользователей, указывая на потребность в более доступных вариантах.
Заключительные мысли: стоит ли покупать Kling 2.0 ?
Kling 2.0 представляет собой значительный шаг вперед в создании видео с использованием искусственного интеллекта, предлагая впечатляющие улучшения в соблюдении сложных подсказок и отображении реалистичных взаимодействий.
Однако он по-прежнему сталкивается с проблемами поддержания согласованности во время динамических сцен. Несмотря на его достижения, вам следует взвесить преимущества по сравнению с текущей стоимостью и конкретными потребностями их проектов при рассмотрении Kling 2.0.
Примечание: эта статья написана на основе содержания следующего видео: