Kling AI właśnie udostępniła publicznie Kling 2.0 .
Ta nowa wersja jest pełna dużych ulepszeń, zajmując pierwsze miejsce w rankingu wideo AI. Ale czy jest naprawdę tak przełomowa, jak się wydaje?
Przetestowaliśmy Kling 2.0 , porównując go z innymi najnowocześniejszymi modelami, takimi jak Runway Gen 4 i Google Veo 2 .
Wyniki przedstawimy za chwilę, ale najpierw zobaczmy, co sprawia, że Kling 2.0 jest wyjątkowy.
Co nowego w Kling 2.0 ?
Kling 2.0 wprowadził kilka nowych funkcji i zmian.
Multimodalne podpowiedzi wizualne
Jednym z najważniejszych dodatków do ekosystemu Kling jest nowa funkcja „Multi Elements”.
To multimodalny system wizualnych podpowiedzi, który pozwala użytkownikom odwoływać się do obrazów i filmów w tekstowych podpowiedziach. Ta funkcja stanowi duży postęp w zakresie kontroli i precyzji, chociaż obecnie jest oddzielona od Kling 2.0 (z integracją oczekiwaną wkrótce).
System oferuje trzy podstawowe funkcje:
- Zamiana: Zamień tematy w istniejących filmach (funkcja ta powodowała błędy podczas testów)
- Dodaj: Wstaw nowe elementy z obrazów referencyjnych do filmów
- Usuń: Dynamicznie usuwaj niechciane obiekty ze scen
Podczas testów udało nam się wykorzystać funkcję „dodaj”, aby wstawić biegnącą kobietę (z obrazu referencyjnego) do sceny przedstawiającej lawę wlewającą się do starego teatru operowego.
Podobnie funkcja „usuń” pozwoliła nam usunąć papugę z ramienia robota, zachowując jednocześnie spójność wizualną w całym filmie.
Warto zauważyć, że Kling AI oferuje pomocne szablony podpowiedzi podczas przesyłania materiałów referencyjnych, eliminując potrzebę zapamiętywania skomplikowanych struktur podpowiedzi — jest to przemyślane udoskonalenie doświadczenia użytkownika.
Zmiany w interfejsie i przepływie pracy
W tej wersji Kling AI wprowadził również kilka zmian w interfejsie:
- Usunięto rozróżnienie między trybami „standardowym” i „profesjonalnym”
- Suwaki „kreatywność” i „naśladowanie” nie są już dostępne
- Tryb ramki nie jest obecnie obsługiwany przez Kling 2.0
- Funkcja oryginalnych elementów (dotycząca lokalizacji postaci i odniesień do obiektów) nie jest jeszcze zgodna z Kling 2.0
Kling 2.0 kontra Kling 1.6: co zostało ulepszone?
Kling 2.0 wyróżnia się jakością ruchu i symulacją fizyki, ale czasami w przypadku niektórych projektów spójność scen Kling 1.6 może okazać się korzystniejsza.
Płynność ruchu i naturalizm
Kling 2.0 drastycznie poprawia jakość ruchu. Zwierzęta poruszają się z naturalną płynnością, zamiast szarpanych, nierealistycznych ruchów widocznych w Kling 1.6.
Wyrazy twarzy człowieka są bardziej przekonujące, eliminując problem „ruchu ustami bez mówienia”. Emocje twarzy wydają się naturalne i spójne w trakcie sekwencji.
Dynamiczna obsługa scen
Latające stworzenia wykazują właściwe ruchy skrzydeł i naturalne wzorce szybowania. Sztywne ścieżki lotu Kling 1.6 są zastąpione realistyczną dynamiką powietrzną.
Fizyka środowiskowa uległa znacznej poprawie. Efekty wody, interakcje obiektów i właściwości materiałów zachowują się bardziej realistycznie.
Kompromis spójności
Kling 2.0 tworzy bardziej dynamiczne sceny, ale czasami kosztem spójności. Postacie mogą pojawiać się lub znikać niespodziewanie w złożonych sekwencjach.
Kling 1.6, mimo że nie robił aż tak dużego wrażenia wizualnego, zapewniał lepszą spójność scen w różnych filmach.
Szybkie zrozumienie
Instrukcje dotyczące przesuwania kamery, przechylania i zmiany ostrości są wykonywane w Kling 2.0 z większą precyzją.
Sekwencyjne działania są lepiej rozumiane. Wieloczęściowe monity, takie jak „żyrandol spadający do lawy i wybuchający płomieniami” są zgodne z właściwą logiczną kolejnością.
Ograniczenia techniczne
Obie wersje mają problemy z obsługą rąk, renderowaniem tekstu i złożonymi interakcjami, choć wersja 2.0 wykazuje niewielką poprawę w tych obszarach.
Parametry generacji
W Kling 2.0 usunięto suwaki kreatywności/podążania za wskazówkami i połączono tryb standardowy/profesjonalny w jeden ujednolicony interfejs.
To usprawnione podejście może być korzystne dla początkujących, ale ogranicza możliwości zaawansowanych użytkowników, przyzwyczajonych do precyzyjnego dostosowywania wyników.
Testowanie Kling 2.0
Chcieliśmy sprawdzić, jak Kling 2.0 wypada na tle Runway Gen 4 i Google Veo 2.
Przeprowadziliśmy więc serię testów na wszystkich trzech generatorach wideo AI, korzystając z tych samych poleceń.
Szybkie przyleganie i możliwości renderowania ruchu
Nasz pierwszy test skupiał się na zdolności Kling 2.0 do rozumienia i wykonywania złożonych poleceń obejmujących zarówno ruch obiektu, jak i kamery. Zadanie było proste, ale wymagające: kobieta patrzy w dół na swoje ręce, a papuga ląduje na jej rękach.
Kling 2.0 wykonał imponującą robotę, podążając za poleceniem co do joty. Akcja rozwijała się naturalnie, z wyraźną sekwencją zdarzeń.
Z drugiej strony, wyniki Runway'a trochę nie trafiły w sedno. Papuga była już obecna, gdy kobieta spojrzała w dół, co nie jest zgodne z wymaganiami podpowiedzi.
Veo 2 firmy Google podążyło za tym przykładem, ale brakowało mu jasnego, sekwencyjnego działania, jakie oferował Kling 2.0 .
Ocena wpływu na środowisko: symulacja powodzi
Następnie przetestowaliśmy zdolność Kling 2.0 do renderowania efektów środowiskowych, w szczególności scenariusza powodzi w otoczeniu miejskim.
Kling 2.0 wypadł znakomicie, dokładnie przedstawiając powódź zalewającą ulice i spychającą samochody.
Runway nie poradził sobie z tym wyzwaniem i zamiast tego zdecydował się pokazać ogromną falę oceaniczną, która nie pasowała do tematu.
Veo 2 udało się odtworzyć powódź, ale brakowało dynamiki i nie uchwyciło w pełni scenariusza opisanego w poleceniu.
Dynamiczne działanie i szybkie zrozumienie w scenariuszach wymagających dużej prędkości
Popchnęliśmy Kling 2.0 dalej, testując jego zdolność do radzenia sobie z szybkimi sekwencjami akcji. Zadanie polegało na galopującej na koniu kobiecie z kamerą krążącą wokół niej.
Kling 2.0 dostarczył dynamiczny, atrakcyjny wizualnie obraz, chociaż miał pewne problemy z utrzymaniem spójności mimiki twarzy podczas szybkiej akcji.
Efekt końcowy Runway'a przypominał raczej scenę w zwolnionym tempie, brakowało jej dynamiki dużej prędkości, do której dążyliśmy.
Niestety, Veo 2 nie przyniosło w tym scenariuszu żadnych sensownych rezultatów.
Renderowanie lewitujących obiektów i złożonych ruchów kamery
W tym teście rzuciliśmy wyzwanie Kling 2.0 , aby wyrenderował scenę z lewitującymi obiektami i pochyloną kamerą.
Kling 2.0 znów się wyróżnił, dokładnie przedstawiając unoszące się obiekty i podążając za określonym ruchem kamery. Runway i Veo 2 miały problemy z tym zadaniem, nie potrafiąc w pełni renderować lewitujących obiektów i ruchu kamery, jak opisano w monicie.
Ostateczne wyzwanie: modele wideo AI kontra scena walki samuraja
Ostatnim wyzwaniem było wyrenderowanie sceny walki dwóch samurajów, co historycznie okazywało się zadaniem trudnym dla modeli wideo opartych na sztucznej inteligencji.
Kling 2.0, choć ulepszony w stosunku do poprzednich wersji, nadal miał problemy z renderowaniem naturalnie wyglądających walk. Spójność mieczy spadła, zwłaszcza gdy wchodziły ze sobą w interakcję, a cała scena nie wyglądała tak realistycznie, jak się spodziewaliśmy.
Podobne problemy wystąpiły w przypadku Runway Gen 4 i Veo 2, gdzie brakowało spójności i naturalnego ruchu w scenach walki.
Zalety i ograniczenia Kling 2.0
Ogólnie rzecz biorąc uważamy, że Kling 2.0 ma następujące zalety i wady.
Mocne strony Kling 2.0
- Przestrzeganie poleceń: Kling 2.0 wykazuje niezwykłą zgodność ze złożonymi poleceniami, zwłaszcza tymi, które obejmują wiele działań i oddziaływań środowiskowych.
- Realizm interakcji: Model ten doskonale oddaje subtelne interakcje i realistyczne ruchy, co podnosi ogólną jakość wizualną.
Wyzwania Kling 2.0
- Utrzymanie spójności: Kling 2.0 ma problemy ze spójnością podczas szybkich i złożonych sekwencji akcji, co prowadzi do niespójności wyników.
- Renderowanie złożonych scen: Mimo udoskonaleń, Kling 2.0 nadal ma problemy z renderowaniem realistycznych scen walki i dynamicznych ruchów kamery.
Cennik i dostępność
- Konsekwencje finansowe: Cena Kling 2.0, zwłaszcza w przypadku krótkich generacji filmów, może budzić obawy niektórych użytkowników, wskazując na potrzebę wprowadzenia bardziej przystępnych cenowo opcji.
Podsumowanie: Czy Kling 2.0 jest tego wart?
Kling 2.0 to duży krok naprzód w dziedzinie generowania filmów przy użyciu sztucznej inteligencji, oferujący imponującą poprawę w zakresie zgodności ze złożonymi instrukcjami i renderowania realistycznych interakcji.
Jednak nadal ma problemy z utrzymaniem spójności podczas dynamicznych scen. Pomimo swoich postępów, powinieneś rozważyć korzyści w stosunku do obecnych kosztów i konkretnych potrzeb ich projektów, rozważając Kling 2.0.
Uwaga: Niniejszy artykuł powstał w oparciu o treść następującego filmu: