Как сохранить движение и движение камеры при преобразовании видео в видео с помощью ИИ
Проблема, которую я заметил в AI-видео в видео, заключается в том, что ему бывает сложно точно следовать движению объекта и траектории камеры, из-за чего появляются мерцание, искажения или изменения в исходном исполнении.
В этом руководстве я покажу, как использовать Pollo AI, чтобы сохранить это движение, и на что обратить внимание в стилизованном результате.
Вместо того чтобы писать «сохраните движение», укажите его направление и тайминг, чтобы ваш запрос ясно ссылался на исполнение, уже присутствующее в видео.TL;DR
Чтобы сохранить движение и перемещение камеры в AI-видео в видео, загрузите четкий клип в Pollo AI, выберите стиль и включите дополнительный промпт. Укажите исходные действия, тайминг и движение камеры, которые хотите сохранить, затем просмотрите результат.
Как сохранить движение и перемещение камеры в AI-видео в видео
Что мне нравится в Pollo AI, так это то, что он плавно применяет новые стили к любым существующим кадрам, обеспечивая сохранение действий, поз и движений любого объекта в финальном рендере. Мне также нравится, что процесс простой, потому что для стилизации видео нужно всего несколько шагов:
Шаг 1: Перейдите в Video to Video AI в Pollo AI
Откройте AI-генератор видео в видеои войдите в систему. Если у вас нет аккаунта, просто зарегистрируйтесь. Для новых пользователей это бесплатно. После этого можно переходить к следующему шагу.
Шаг 2: Загрузите исходное видео
Загрузите видео, которое хотите стилизовать, в формате MP4 или MOV размером до 50 МБ. Если оно длиннее 15 секунд, используйте инструмент обрезки, чтобы выбрать фрагмент до 15 секунд, затем нажмите «Применить».
Выбирайте материал с четким объектом, легко отслеживаемым движением и хорошим отделением от фона. Это помогает AI сохранять узнаваемые детали и делать стилизацию более последовательной на протяжении всего клипа.
Шаг 3: Выберите предпочитаемый стиль
Выберите предпочитаемый визуальный стиль, затем включите Prompt (Optional), чтобы описать, что должно оставаться неизменным. Я рекомендую указать исходное действие и движение камеры, а запрошенные изменения сосредоточить на внешнем виде видео. Примеры формулировок смотрите ниже.
Шаг 4: Сгенерируйте видео
Нажмите Создать, и ваше стилизованное видео будет готово через несколько минут. AI-видео в видео от Pollo придает вашему материалу polished новый вид, сохраняя исходное движение — сравнение входа и выхода смотрите ниже.
| Вход | Выход |
Просмотрите результат и скачайте его, когда будете довольны. Если хотите подправить детали, используйте наш AI-видеоредактор, чтобы доработать видео.
Как писать промпты, которые сохраняют движение и перемещение камеры
Опишите, что должно измениться, а что должно остаться.Включите Prompt (Optional), укажите нужное визуальное изменение и уточните, какие движения должны следовать исходнику. Я бы сделал первую попытку с фокусом на одном стиле, без добавления новых действий или направлений камеры.
Полезная стартовая структура:
Примените [визуальный стиль] к исходному видео. Сохраните исходные действия объекта, тайминг движения, траекторию камеры и кадрирование. Сохраните компоновку сцены неизменной, не добавляя новых действий или движений камеры.
Будьте конкретны в описании движения объекта
Назовите действие, которое хотите сохранить, например поворот, ходьбу или жест рукой.
Вместо того чтобы писать «сохраните движение», укажите его направление и тайминг, чтобы ваш запрос ясно ссылался на исполнение, уже присутствующее в видео.Пример — танцевальный клип с фиксированной камерой:
Стилизуйте видео под аниме. Сохраните исходные шаги танцора, жесты руками, повороты корпуса и ритм. Сохраните кадрирование в полный рост и фиксированную камеру. Сохраните существующую компоновку фона без добавления хореографии или движения камеры.
Опишите существующее движение камеры
Сопоставляйте инструкции по камере с загруженным клипом. Если в исходнике есть панорамирование вправо, попросите сохранить это панорамирование; если камера следует за идущим человеком, опишите эту связь. Не добавляйте термины вроде «орбита» или «зум», если таких движений изначально нет.
Пример — трекинговый кадр с идущим человеком:
Примените стиль пластилиновой анимации. Сохраните направление ходьбы человека, темп и жесты. Сохраните исходный трекинговый кадр, дистанцию камеры и кадрирование. Оставьте фоновые объекты на их текущих местах, не добавляя склеек, зумов или вращения камеры.
Делайте визуальные изменения точечными
Начните со смены стиля, прежде чем одновременно запрашивать новую обстановку, одежду и освещение. Если хотите сфокусировать трансформацию на одном объекте, опишите это намерение в промпте, а затем проверьте, остаётся ли фон достаточно близким к исходнику.
Пример — человек поворачивается к камере:
Придайте человеку вид карандашного наброска, сохранив фон близким к оригиналу. Сохраните поворот головы, выражение лица и тайминг движения. Сохраните исходное движение камеры и композицию, не добавляя жестов и не меняя обстановку.
Адаптируйте каждый пример под ваш материал. Эти инструкции передают ваши приоритеты, но не фиксируют движение или перемещение камеры. Промпт для фиксированной камеры будет конфликтовать с движущимся кадром, поэтому перед генерацией удалите любые детали, которые не соответствуют исходному видео.
Придайте вашим кадрам новый облик
Загрузите клип, который вам нравится, выберите визуальный стиль и откройте новое творческое направление с видеорестайлингом от Pollo AI.
Рестайлизовать видео с ИИ
Что проверять и как это исправить
Сравнивайте исходное и рестайлизованное видео бок о бок. Сфокусируйтесь на тайминге действия, направлении камеры и том, как фон движется в кадре. Если что-то неожиданно меняется, в каждой попытке корректируйте только одну часть промпта или исходного клипа.
| Если вы замечаете… | Попробуйте следующее |
|---|---|
| Изменённые жесты или лишние действия | Уберите запросы на новое движение. Назовите исходное действие и попросите сохранить его последовательность и тайминг. |
| Нежелательный зум, орбита или смена угла | Уберите конфликтующие термины камеры. Опишите движение камеры, которое уже есть в исходнике. |
| Сдвиг или изменение фоновых объектов | Уберите запросы на новую обстановку. Попросите сохранить исходную компоновку сцены и позиции объектов. |
| Искажённые быстрые движения | Попробуйте более короткий фрагмент исходника с более чёткими позами и меньшим смазыванием движения. |
| Мерцание или нестабильные детали | Упростите визуальные изменения или попробуйте другой стиль, затем снова сравните тот же фрагмент. |
Заключение
Придайте вашим кадрам новый облик, сохранив фокус на их исходном исполнении. Откройте video to video AI от Pollo AI, выберите стиль и попробуйте точечный промпт, который описывает действия и движение камеры, которые вы хотите сохранить.