Функция Lip Sync является полезным дополнением к популярной модели генерации видео Runway AI . Она используется для синхронизации движений губ персонажей или людей в видеороликах AI с речевым звуком и предлагает много полезного. Но поскольку это довольно новая функция, многие пользователи не уверены в том, как она работает. В этом руководстве рассматривается, как использовать функцию Lip Sync Runway простым способом.
Что такое Lip Sync от Runway AI?
Lip Sync, как следует из названия, это функция синхронизации речевого звука с движениями губ персонажей в ваших видеороликах AI. Другими словами, вы можете использовать ее для создания видеороликов AI, где персонажи реалистично двигают своими ртами и лицами в соответствии с текстовым сценарием, который вы можете либо написать в своих подсказках, либо загрузить в виде отдельного аудиофайла.
Использование этого имеет далеко идущие последствия. Создатели могут использовать Lip Sync, например, для создания реалистичных сцен, где персонажи ведут диалог друг с другом, читают речь или делают заявление. Это открывает новые возможности с точки зрения типа контента — например, контента в стиле фильмов и телевидения — который вы теоретически могли бы создать с помощью Runway AI.
Как использовать Lip Sync в Runway AI
Теперь, когда вы знаете, что такое функция Lip Sync, давайте рассмотрим, как ее использовать. Вот простое пошаговое руководство со скриншотами, которое покажет вам, как именно использовать Lip Sync для создания видеороликов AI с идеально синхронизированным звуком.
Шаг 1. Доступ к инструменту Lip Sync
Первый шаг прост. Если вы хотите использовать инструмент Lip Sync, вам нужно нажать и выбрать «Lip Sync Video» в списке «Runway's AI Tools», который вы можете найти на панели инструментов Runway .
Шаг 2. Добавьте видео или изображение
Далее вам понадобится изображение или видео, которые вы будете использовать в качестве основы для вашего финального творения. Вы можете перетащить и отпустить или щелкнуть, чтобы загрузить видео или изображение в любом из поддерживаемых форматов. Если вы используете видео, убедитесь, что персонаж, которого вы хотите видеть говорящим, присутствует в самом первом кадре.
Шаг 3. Выберите динамик
После загрузки изображения или видео в Runway приложение попытается автоматически определить лицо говорящего. В большинстве случаев у него не должно возникнуть проблем с определением ключевой фигуры на изображении, но могут возникнуть трудности, если вы загрузите изображение с несколькими людьми или нечеткими фигурами. Если это произойдет, вы можете нажать на изображение самостоятельно и перетащить рамку на лицо говорящего.
Шаг 4. Выберите голос
Нажмите на значок микрофона рядом с вашим динамиком, чтобы выбрать голос для него. Runway предоставляет вам целый набор различных голосовых опций, и вы можете предварительно прослушать каждую из них, нажав маленькую кнопку «Play». Затем, когда вы найдете нужный, нажмите, чтобы выбрать его.
Шаг 5. Введите свой сценарий или загрузите аудиозапись
Далее вам нужно фактически сказать инструменту, что вы хотите, чтобы сказал ваш спикер. У вас есть два варианта для этого. Вы можете либо щелкнуть в текстовом поле рядом с вашим спикером и ввести то, что вы хотите, чтобы он сказал. Или вы можете загрузить аудиофайл, который уже содержит запись речи, которую вы хотите услышать в финальном видео.
Шаг 6. (Необязательно) Добавьте дополнительных динамиков
Это необязательный шаг для ситуаций, когда вы хотите, чтобы в вашем видео говорили несколько человек. Вы можете нажать кнопку «Добавить говорящего» в нижней части окна сеанса, чтобы добавить каждого из них, а затем нажать значок профиля для каждого говорящего, чтобы сопоставить его с одним из обнаруженных лиц в вашем видео. Затем либо введите свой сценарий, либо загрузите аудио, которое вы хотите услышать.
Шаг 7. Нажмите кнопку «Сгенерировать».
После того, как вы добавили все нужные диалоги, вы можете просто нажать кнопку «Сгенерировать» внизу страницы и подождать немного, пока Runway создаст ваше видео. Затем вы можете просмотреть его, сохранить и поделиться им.
Кроме того, обратите внимание, что вы также можете добавить Lip Sync к видео, сгенерированным AI, сделанным с помощью всех различных моделей Runway , таких как Gen-2, Gen-3 и Gen-3 Alpha Turbo. Вам просто нужно сделать свое видео, затем нажать «Действие», а затем «Lip Sync».
Лучшие практики использования синхронизации губ на Runway
Функция Lip Sync в Runway полезна и интересна в использовании, но она не идеальна. Если вы хотите получить наилучшие результаты с помощью этой функции, вам нужно будет следовать определенным рекомендуемым практикам, которые перечислены ниже:
- Если вы используете загруженные речевые файлы, их продолжительность не должна превышать 40 секунд.
- Расположите персонажей лицом вперед, к камере.
- Используйте только человеческие лица — в будущем могут быть добавлены животные, но пока это не работает.
- В кадре должны быть видны головы и плечи персонажей, но не слишком крупные или слишком отдалённые.
- Выбирайте фотореалистичные стили персонажей, а не анимированные или мультяшные.
- Избегайте чрезмерных движений тела, рук или камеры.
- Поддерживайте единообразие освещения в видеороликах с использованием ИИ.
- Избегайте резких переходов и смен, которые прерывают поток звука/речи.
- Убедитесь, что вы используете поддерживаемые типы аудио- и видеофайлов.
- Постарайтесь, чтобы в кадре был только один персонаж — если в кадре несколько лиц, этот метод работает хуже.
Попробуйте функцию Lip Sync от Runway AI уже сегодня с Pollo AI
Если вы хотите протестировать функцию Runway Lip Sync, вы можете сделать это легко и бесплатно на Pollo AI! Pollo AI — это ведущий видеогенератор AI, который дает вам доступ к ряду моделей генерации видео AI, включая Runway's Gen 2 , Gen 3 Alpha и Turbo , Hailuo AI и Luma AI , а также другие. Он также предлагает ряд инструментов и преимуществ, таких как шаблоны для создания видеороликов поцелуев AI. Вы можете протестировать их все, все бесплатно и все в одном месте с Pollo AI.