Обзор Kling 2.0 : улучшенная генерация динамического видео, новые функции редактирования и многое другое

Kling AI только что выпустила свою новую модель Kling 2.0 , а вместе с ней и улучшения преобразования изображений в видео и текста в видео . В частности, Kling 2.0 может похвастаться лучшими результатами с динамичными, насыщенными действиями подсказками и изображениями, которые могут привести к более потрясающим видео. Давайте рассмотрим, что нового в Kling 2.0 и как вы можете максимально эффективно использовать свои токены.

Начало работы с Kling 2.0

Сначала давайте поговорим о том, что можно сделать с новой моделью Kling 2.0 .

В настоящее время KlingAI поддерживает как текст в видео, так и изображение в видео с Kling 2.0. Конечно, вы можете использовать любое изображение, включая сгенерированные изображения; в моих примерах используются изображения, созданные с помощью Flux . Вы также заметите опцию «Multi-Elements» , которая позволяет вам менять местами, добавлять или удалять разделы из видеоклипа.

Все, что вам нужно сделать, это сделать паузу в определенных моментах видео, добавить разделы, которые вы хотите отредактировать (в данном случае я меняю местами), а Kling AI сделает все остальное за вас.

Вам также захочется добавить точки в различные области вашего выбора, чтобы улучшить результаты. Как правило, чем больше точек вы добавляете, тем лучше ИИ будет отслеживать и маскировать движения. Я добавил довольно много точек в этот выбор, потому что движение человека является сложным и имеет много движущихся частей.

Но вы еще не закончили. При ссылке на видео с особенно сложными движениями (например, танцами) вы не получите наилучших результатов, добавляя выборки только к одному кадру.

Если же в вашем видео не так много действий, вам повезло. Вам не нужно добавлять так много масок, чтобы получить приличный результат. В этом примере у меня всего две маски на временной шкале видео, но мне все равно удалось получить довольно последовательный результат, поскольку движения относительно просты, а камера не так уж много двигается.

Kling 2.0 против WAN 2.1

Я уже упоминал, что Kling 2.0 позволяет создавать видео во многом похоже на WAN 2.1 VACE, которая является моделью с открытым исходным кодом. И хотя приятно иметь бесплатную модель ИИ, работающую локально на вашем компьютере, большинство пользователей ограничены аппаратным обеспечением. И если у вас нет топового графического процессора, предназначенного для моделей ИИ, например H100, вы, вероятно, не получите наилучших возможных результатов. Даже флагманские потребительские графические процессоры, такие как 4090 и 5090, будут бороться за то, чтобы соответствовать качеству видео, созданных с помощью премиальных моделей, таких как Kling 2.0.

Чтобы продемонстрировать, насколько по-разному работают WAN 2.1 VACE и Kling 2.0 , я использовал те же изображения и те же подсказки и пропустил их через image-to-video. Результаты были очень, очень заметны.

Я использовал это изображение фей, делающих праздничный торт в обеих моделях. С WAN 2.1 видео было довольно пресным. Феи в основном стояли неподвижно, и единственное реальное движение в видео было от волшебных пузырей, которые парили над тортом. Не совсем динамичная сцена.

С другой стороны, видео Kling 2.0 было гораздо более насыщенным действием. Маленькая фея в середине бегала вокруг торта, из их палочек вылетали магические эффекты, а сам торт увеличивался в размерах. Выглядит намного лучше, чем результат WAN 2.1. Фактически, способность Kling 2.0 справляться с динамичными сценами превосходит его предыдущую версию, Kling 1.6.

Kling 2.0 против Kling 1.6

В следующем примере я заставил Kling 2.0 сгенерировать сцену боя между двумя женскими персонажами. Получившееся видео содержало сложные движения боевых искусств и быстро движущуюся камеру, которая кружила вокруг двух, пока они сражались. Также было много эффектов частиц, которые придавали сцене дополнительный колорит.

С другой стороны, Kling 1.6 с трудом поспевал за темпом Kling 2.0. Даже с теми же персонажами и подсказками видео Kling 1.6 было намного медленнее, с едва заметным движением камеры. Вы можете действительно увидеть улучшения в Kling 2.0 , сравнивая его с Kling 1.6, используя сцены действия и подсказки.

Причуды Kling 2.0

Хотя у Kling 2.0 есть свои странности. Когда я пытаюсь быть немного более конкретным с моей подсказкой, модель не очень хорошо справляется с этим. Это видео женщины на гидроцикле выглядит странно, потому что голова женщины повернута назад.

Если вы хотите получить результаты, выглядящие естественно, вам нужно сделать ваши подсказки простыми. Используя упрощенную подсказку, я получил здесь гораздо более приятный результат. Также сейчас самое время упомянуть, что Kling 2.0 довольно хорошо справляется с водой, с реалистичными волнами и брызгами.

Если ваши подсказки будут простыми, вы также сможете заставить персонажей в ваших видео делать интересные вещи, например, отводить взгляд от камеры.

В первом кадре этого видео женщина смотрит в камеру, но по мере продолжения она уезжает, поворачивая голову к дороге. Это выглядит гораздо реалистичнее, чем версия WAN 2.1 того же приглашения; хотя модель с открытым исходным кодом могла бы хорошо обрабатывать отражения и свет, движения женщины за рулем мотоцикла не так уж много.