Synchronizacja ruchu warg na pasie Runway
Runway Lip Sync to funkcja Runway , która może synchronizować przemówienia klipów audio lub skryptów tekstowych, aby dopasować je do mimiki twarzy dowolnej postaci. Umożliwia to tworzenie realistycznych i angażujących sekwencji wizualnych z postaciami rozmawiającymi lub konwersującymi. Jest podobna do funkcji Runway Act One , ale ta druga jest bardziej wydajna i przeznaczona do zaawansowanych przypadków użycia.
Główne cechy synchronizacji ruchu warg na pasie Runway
- Tekst na mowę: Możesz wprowadzać skrypty zawierające dialogi lektora, z których będą korzystać postacie.
- Synchronizuj z dźwiękiem: Prześlij nagrane pliki dialogowe o długości do 40 sekund.
- Sceny wielotwarzowe: Wybierz do 10 różnych znaków dla oddzielnych dialogów.
- Stylizuj mowę: Uzyskaj dostęp do niestandardowych modeli głosu AI, aby uzyskać zróżnicowane efekty dźwiękowe.
Tekst na mowę
Runway Lip Sync obsługuje skrypty zamiany tekstu na mowę do 600 znaków na dialog mówcy. Daje to pełną swobodę pisania unikalnych dialogów postaci, które odpowiadają Twoim dokładnym potrzebom i wymaganiom.
Poniżej zamieszczono przykładowe filmy z funkcją zamiany tekstu na mowę za pomocą ruchu warg:
| Obraz | Skrypt tekstowy | Wyjście wideo |
 | Mam nadzieję, że wszyscy świetnie się dziś bawicie. To niesamowite mieć taką szansę na połączenie. | |
 | Hej Jamie! Masz jakieś plany na weekend? |
Synchronizuj z przesłanym dźwiękiem
Dzięki Runway Lip Sync możesz nagrać siebie lub innych i przesłać istniejący plik audio, który będzie używany jako dialog postaci. Narzędzie pozwala na maksymalnie 40 sekund wypowiedzi z opcją podglądu, jak brzmi przed ostatecznym rezultatem.
Sceny wielotwarzowe
Możesz użyć Runway Lip Sync, aby tworzyć sceny dialogowe dla wielu postaci, co ułatwia tworzenie złożonych scen. Narzędzie pozwala przesłać do 10 dialogów na wideo, dając Ci dużo kreatywnego pola do pracy.
| Obraz | Skrypt tekstowy | Wyjście wideo |
 | Postać 1: Dzisiaj przedstawiamy nową inicjatywę, która ma na celu zwiększenie zaangażowania naszej społeczności. Postać 2: Ta inicjatywa to nie tylko projekt; to okazja dla nas wszystkich, aby współpracować i wspólnie wprowadzać innowacje. Postać 3: Dokładnie przeanalizowaliśmy potrzeby naszej społeczności i opracowaliśmy plan, który skutecznie je zaspokaja. Postać 4: Naszym celem jest stworzenie platformy, która będzie sprzyjać komunikacji i nawiązywaniu kontaktów pomiędzy wszystkimi zaangażowanymi stronami. |
Stylizuj mowę
Możesz uzyskać dostęp do kilku niestandardowych modeli głosu AI z Runway Lip Sync, z których każdy oferuje różne niuanse językowe do wyboru. Możesz nawet wybrać głos męski lub żeński w różnych nastrojach i ustawieniach, takich jak medytacja, narracja, rozmowa itp.
Filmy na YouTube o synchronizacji ust z pasem Runway
O czym ludzie mówią na temat synchronizacji ust na Runway na Reddit
Wielu użytkowników wdrożyło już Runway Lip Sync i osiągnęło imponujące wyniki, jednak oczywiste jest, że narzędzie wymaga jeszcze pewnych udoskonaleń.
Komentarz
przez u/Paul-Montreal z dyskusji
w pasie startowymml
Jednym z głównych problemów, z jakimi zmagają się niektórzy użytkownicy, jest konieczność dostosowania funkcji Runway Lip Sync do postaci, które nie są ludźmi.
Komentarz
przez u/dietpapita z dyskusji
w pasie startowymml
Inni użytkownicy obeszli ten problem, wykorzystując narzędzie wideo-do-wideo Runway, próbując przekonwertować filmy z postaciami na nagrania z udziałem żywych aktorów, aby uzyskać lepsze rezultaty.
Komentarz
przez u/Initial_Simple780 z dyskusji
w pasie startowymml
O czym ludzie mówią w kontekście synchronizacji ust z Runway na X
# Runway Gen-1 + Lip Sync (Dostępne już dla wszystkich!)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 22 marca 2024 r.
Eksperyment 🧵
Chciałem sprawdzić, jak dobrze Lip Sync sprawdzi się w stylizowanym klipie Gen-1. Więc wrzuciłem wideo o przyzwoitej jakości, na którym mój temat jest wyraźnie widoczny.
To był początkowy film wejściowy i synchronizacja ruchu warg nie... pic.twitter.com/faJ0nAmWhS
📼 Realistyczna synchronizacja ruchu warg dotarła do Runway i jest SZALONA. 🤯
— Javaid Shah (@JvShah124) 8 grudnia 2024 r
Właściwie jest to aktualizacja funkcji Act-One, ale możesz przesłać dowolny film, nie tylko ten wygenerowany w ramach usługi.
Jak to działa:
🟡 Wrzucamy filmik, na którym mówisz do kamery (a nawet śpiewasz)… pic.twitter.com/Il6CsVrgz0
Koniec gry! Runway właśnie wydał Act One, przenosząc lip-sync AI na wyższy poziom z niesamowitą jakością i płynnym przepływem pracy. Nigdy nie było tak łatwo ożywić postaci.
— Ben Nash (@bennash) 25 października 2024 r
Oto krótka scena zatytułowana „Wzrost lub upadek”.
Poniżej wyjaśnię, jak to zrobić. @runwayml pic.twitter.com/KCAuXbNeIr
Koniec gry! Runway właśnie wydał Act One, przenosząc lip-sync AI na wyższy poziom z niesamowitą jakością i płynnym przepływem pracy. Nigdy nie było tak łatwo ożywić postaci.
— Ben Nash (@bennash) 25 października 2024 r
Oto krótka scena zatytułowana „Wzrost lub upadek”.
Poniżej wyjaśnię, jak to zrobić. @runwayml pic.twitter.com/KCAuXbNeIr
Chciałem spróbować Runway i ich lip sync, więc stworzyłem ten obraz MJ i sam nagrałem ten krótki filmik. Nie jestem zbyt chętny na głosy AI.
— ZOOT (@LittleTinRobot) 30 czerwca 2024 r.
Ciekawy proces. #runwayml #midjourney #sciencefiction pic.twitter.com/xlmzHkQF0N
Chciałem spróbować Runway i ich lip sync, więc stworzyłem ten obraz MJ i sam nagrałem ten krótki filmik. Nie jestem zbyt chętny na głosy AI.
— ZOOT (@LittleTinRobot) 30 czerwca 2024 r.
Ciekawy proces. #runwayml #midjourney #sciencefiction pic.twitter.com/xlmzHkQF0N
Chciałem spróbować Runway i ich lip sync, więc stworzyłem ten obraz MJ i sam nagrałem ten krótki filmik. Nie jestem zbyt chętny na głosy AI.
— ZOOT (@LittleTinRobot) 30 czerwca 2024 r.
Ciekawy proces. #runwayml #midjourney #sciencefiction pic.twitter.com/xlmzHkQF0N
Wow: #runway lip sync, teraz generuje dialogi dla więcej niż jednej postaci. Cudownie :) Jannet i Mike opowiadają nam o tym więcej. pic.twitter.com/LTQNEuicoq
— Cristián Parodi (@cristian_parodi) 9 lipca 2024 r
Odkryj inne funkcje Runway
Przydatne artykuły o synchronizacji ust z pasem Runway
Dowiedz się, jak używać funkcji lip sync w Runway i odkryj więcej przydatnych artykułów!
Często zadawane pytania
Czy Runway Lip Sync jest darmowy?
Możesz uzyskać dostęp do Runway Lip Sync bezpłatnie, korzystając z podstawowego planu. Jednak liczba generacji, które możesz wykonać, będzie ograniczona. Jeśli chcesz nadal korzystać z narzędzia, ostatecznie będziesz musiał wykupić płatny plan.
Ile postaci można animować w Runway Lip Sync na jedną scenę?
Możesz użyć Runway Lip Sync, aby dodać dialogi mowy dla maksymalnie 10 różnych mówców/dialogów na scenę. Możesz również użyć różnych modeli głosu AI dla każdego z nich, co pomoże Ci tworzyć interaktywne sekwencje wizualne z głębszym opowiadaniem historii. Dowiedz się więcej o tym, jak używać Runway Lip Sync tutaj.
Jakie ograniczenia ma Runway Lip Sync?
Runway Lip Sync działa najlepiej w przypadku zbliżeń twarzy ludzkich, które są zwrócone do przodu w kierunku kamery. Narzędzie zazwyczaj nie obsługuje twarzy zwierząt lub kreskówek, ale czasami może działać. Ponadto nie powinno być żadnych znaczących ruchów ust, kamery, ciała ani głowy.
Jakie formaty wideo obsługuje Runway Lip Sync?
Możesz importować szeroką gamę popularnych formatów wideo, takich jak MP4, MOV, 3GP, MKV i inne. Jednak jeśli chodzi o eksportowanie, musisz sprawdzić swoją subskrypcję. Na przykład użytkownicy Basic i Standard mogą eksportować filmy tylko w formacie MP4.
Ile kosztuje korzystanie z Runway Lip Sync?
Runway będzie pobierać 5 kredytów za sekundę wyjścia wideo podczas korzystania z narzędzia Lip Sync. Pamiętaj, że obsługuje ono maksymalnie 40 sekund na dialog, a dla każdej sceny wizualnej dozwolonych jest maksymalnie 10 dialogów.
Wypróbuj Runway na Pollo AI już teraz!
Pollo AI to wszechstronny generator filmów oparty na sztucznej inteligencji, który pozwala bez problemu wypróbować możliwości Runway .