Runway Gen-3 Alpha

Sortie vidéo supérieure

Le modèle Gen-3 Alpha de Runway a été largement entraîné à l'aide de contenu vidéo et d'images pour devenir plus intelligent que la version précédente. Il propose trois formes de génération d'IA : texte vers vidéo, image vers vidéo et texte vers image. Il propose également des fonctionnalités intéressantes, telles que Motion Brush, Advanced Camera Controls et Director Mode.

Il permet aux utilisateurs de créer des vidéos très détaillées avec des changements de scène complexes, un large éventail de choix cinématographiques et des directions artistiques détaillées.

Rapide	Image d'entrée	Sortie vidéo
À grande vitesse et à angle dynamique, la caméra se verrouille sur un sac en plastique flottant dans les airs au-dessus d'une scène sablonneuse. Le sac est semi-transparent et flotte de haut en bas au gré du vent, mais reste clairement visible et net tout au long de la scène.	Aucun
Les mains gantées tirent pour étirer le visage fait d'un matériau bubblegum
Les anémones de mer se balancent et coulent naturellement dans l'eau. la caméra reste immobile.

Acte 1

Act One est l'un des ajouts les plus passionnants à la version Gen-3 Alpha de Runway. Il s'agit d'un outil d'animation de personnages, visant à produire les mouvements faciaux, les modèles de discours et les expressions les plus réalistes et authentiques chez les sujets humains.

Grâce à cela, les utilisateurs peuvent créer leurs propres performances de personnages qui ressemblent exactement à la réalité, et cela fonctionne dans différents styles, des vidéos photoréalistes de personnes parlant à de mignonnes scènes animées dans le style des grands studios d'animation, comme Disney et Pixar.

Cela fonctionne si bien parce que l’outil a été formé sur des volumes importants de données d’animation faciale et de mocap, ouvrant de nombreuses nouvelles opportunités d’expression créative.

Performances de conduite	Sortie vidéo

Prolonger la vidéo

Avec Gen-3 Alpha, vous pouvez allonger vos vidéos générées par l'IA en ajoutant de nouvelles sections de contenu par incréments de 5 à 10 secondes. Vous pouvez également allonger une seule vidéo jusqu'à trois fois pour la rendre beaucoup plus longue qu'elle ne l'était à l'origine (jusqu'à un maximum de 40 secondes supplémentaires).

Le processus d’extension des vidéos est également rapide et simple : il vous suffit de sélectionner l’outil « Étendre » dans le menu « Actions » à côté de votre vidéo.

Par défaut, l'outil ajoute du nouveau contenu après la dernière image de votre vidéo d'origine. Vous pouvez également saisir votre propre invite de texte pour indiquer au modèle d'IA ce qu'il doit inclure dans l'extension, en décrivant la scène, le mouvement de la caméra et d'autres facteurs.

Gen-3 Alpha vous permet également de choisir entre des ajouts de cinq ou de dix secondes, selon vos besoins.

Sortie haute fidélité

Le Gen-3 Alpha de Runway porte la cohérence et la sortie haute fidélité à de nouveaux niveaux par rapport aux versions précédentes, comme le Gen-2.

Il est capable de créer des vidéos illustrant les mouvements les plus authentiques et les plus réalistes, notamment la marche, la course, le jogging et le saut. Chaque mouvement s'enchaîne de manière nette et réaliste, sans problèmes étranges ni autres obscurités de l'IA, gardant le public engagé et immergé.

De plus, le nouveau modèle est capable de maintenir des mouvements et des visuels cohérents d'une image à l'autre. Cela est dû à sa meilleure compréhension des invites et à de meilleurs algorithmes que la version Gen-2 précédente.

Tout cela est également livré plus rapidement que jamais : Gen-3 Alpha est 2 fois plus rapide que Gen-2.

Contrôles temporels avancés

Le modèle Gen-3 Alpha de Runway a été formé pour comprendre des messages complexes et superposés qui impliquent plusieurs scènes et idées temporelles toutes liées entre elles. De ce fait, il est très efficace pour comprendre les messages qui décrivent des scènes ou des visuels qui subissent divers changements ou transitions.

Pour l'utilisateur final, cela signifie que Gen-3 Alpha génère efficacement des transitions fluides et fluides entre les scènes ou les segments de chaque vidéo. Il vous offre également plus de contrôle sur les images clés, ce qui vous permet de définir précisément des moments précis de la vidéo où des événements ou des éléments spécifiques se produisent.

Avec autant de contrôle, les utilisateurs peuvent créer exactement les vidéos qu’ils souhaitent, sans avoir à faire de compromis.

Des gens réalistes

Le Gen-3 Alpha de Runway a été formé pour rendre ses sujets humains aussi réalistes que possible. En d'autres termes, les humains dans ces vidéos d'IA sont très difficiles à distinguer des vraies personnes.

Qu'ils parlent, fassent des expressions faciales ou exécutent diverses activités comme courir et sauter, les personnages de ces vidéos sont très authentiques. Cela offre aux utilisateurs de nombreuses possibilités en termes de narration et de création de contenu à dimension humaine.

Synchronisation labiale audio

La fonction « Lip Sync » vous permet de synchroniser une piste audio ou un discours avec des mouvements de lèvres réalistes de vos personnages et sujets.

Vous pouvez rédiger votre propre script pour que vos personnages IA puissent le dire, enregistrer votre propre voix directement dans Runway ou télécharger un fichier audio. Lip Sync le synchronisera ensuite avec les mouvements de la bouche du personnage, de sorte qu'il semble vraiment qu'il prononce ce son.

Il existe également différentes options vocales à configurer et à choisir lorsque vous utilisez Lip Sync.

Génération de vidéo à vidéo

Il vous suffit de télécharger (ou de générer) une vidéo à utiliser comme base ou point de référence pour le modèle d'IA. Il vous permettra ensuite de transformer ou de modifier cette vidéo de différentes manières, par exemple en transformant une vidéo réaliste en une vidéo animée, ou vice versa.

Entrée vidéo	Invite de texte	Sortie vidéo
	Style CMJN en demi-teintes 3D. point d'impression en demi-teintes. bande dessinée. couleurs vives en couches de points circulaires bleu cyan, jaune, magenta violet et noir.

Meilleures invites pour utiliser Runway Gen-3 Alpha

Pour tirer le meilleur parti de Gen-3 Alpha, vous devez utiliser les meilleurs types d'invites. Runway lui-même encourage les utilisateurs à s'en tenir à la formule « [mouvement de caméra] : [mise en place de la scène]. [détails supplémentaires] » .

Par exemple, vous pourriez insérer une invite telle que « panoramique horizontal lent, une jeune femme marche dans le désert, puis il commence à pleuvoir ».

Plus vous serez précis dans vos messages, plus vous obtiendrez des résultats précis et personnalisés. Ainsi, si vous avez une idée précise de l'apparence que vous souhaitez donner à votre vidéo, il est préférable d'être précis.

Nous pouvons appliquer ceci à l'exemple précédent, pour obtenir quelque chose comme :

« La caméra se déplace lentement de gauche à droite sur un désert de sable doré. Une femme d'une vingtaine d'années traverse lentement la scène. Elle porte une robe fleurie. Elle lève les yeux alors que la pluie commence à tomber des nuages ​​gris au-dessus. »

Voici quelques conseils supplémentaires pour rendre vos messages les meilleurs possibles :

• Fournissez autant de détails que possible, sans en faire trop. Gen-3 Alpha fonctionne mieux avec des invites « sweet spot » qui ne sont ni excessivement simples ni trop complexes.
• Apprenez les termes relatifs aux mouvements de caméra et aux types de prise de vue, afin de pouvoir donner à l'outil des instructions précises concernant le cadrage et les angles de caméra.
• Utilisez le même style dans vos invites lorsque vous créez des scènes similaires ou consécutives afin qu'elles maintiennent un certain niveau de cohérence.
• Essayez de jouer avec les invites prédéfinies personnalisées de Runway et enregistrez vos préférées pour les réutiliser ultérieurement.

Runway Gen-2 contre Gen-3 Alpha contre Gen-3 Alpha Turbo

Avis sur Gen-3 Alpha sur Reddit

Alors, que pensent les utilisateurs généraux de Gen-3 Alpha de Runway ? Eh bien, à l'heure actuelle, les avis sur l'outil sont quelque peu mitigés.

Certains utilisateurs ont affirmé qu'ils allaient continuer à utiliser Gen-2 pour le moment, puisque Gen-3 n'est qu'au stade « Alpha » de développement et nécessite encore quelques améliorations avant de réaliser son potentiel.

Commentaire
par u/West_Persimmon_6210 à partir de la discussion
dans runwayml

D’autres se sont plaints du coût élevé de l’utilisation de Gen-3 Alpha, mais certains ont tout de même loué la technologie et les fonctionnalités clés qu’elle a introduites.

Commentaire
par u/Puzzled-Emphasis1116 à partir de la discussion
dans la piste ml

Critiques vidéo