News: Runway Gen2: Stable Diffusion Schöpfer stellen neue Text-to-Video-KI vor

Runway Gen 2 Beispielclips

Prompt: "Aerial drone footage of a mountain range" -

Runway Gen 2 baut auf den Funktionen der im Februar vorgestellten Gen 1 auf und bietet so zusätzlich zur Generierung von Video per Textprompt auch dessen Funktionen, wie die Möglichkeit, ausgehend von einem Textprompt oder einem Beispielbild, den Stil, die Komposition oder auch den Inhalt eines Videos zu manipulieren (ähnlich wie das neulich gezeigte, jedoch weniger ausgereifte Tune-a-Video).

Zudem kann mit Hilfe eines speziellen Stilisierungsmodus der Stil oder Look eines Clips per Textbeschreibung verändert werden, während sich im Storyboard-Modus eine einfache, bewegte Skizze in eine fertige Animation umwandeln läßt. Ein sechster Modus bietet eine Maskenfunktionalität - Objekte können z.B. per Text ausgewählt und gezielt verändert werden. Im siebten Modus können grobe 3D-Modelle um passende Texturen ergänzt werden, sodass gerenderte Objekte entstehen. Und schließlich ist es im Customization-Modus möglich, Gen-2 speziell auf eigene Bedürfnisse anzupassen.

Prompt: "The late afternoon sun peeking through the window of a New York City loft" -

Im Video zu Runway Gen 2 wird auch demonstriert, wie stetig sich die Bildqualität von Gen 1 seit dem Start verbessert hat. Und tatsächlich weisen die per Gen 2 generierten Videos eine sehr hohe Qualität auf: verbessert wurde die sonst berüchtigte Inkonsistenz der Motive von Einzelbild zu Einzelbild, sowie die Qualität der Komposition und allgemeinen Darstellung, die nur noch wenige Bildfehler aufweist.

Verbesserungen der Qualität von Runway Gen 1 im Laufe weniger Wochen

Im Vergleich zu VideoFusion, der gerade veröffentlichten Video-KI, welche als erste solche einen öffentlichen Quellcode samt Modellen bietet und die auch auf Heim-PCs läuft, ist die Qualität (und Auflösung) von Gen 2 schon mehrere Generationen weiter. Aber auch den Vergleich zu den Video-KIs der großen Player wie Google (https://www.slashcam.de/news/single/Text-zu-Video-KI-jetzt-auch-von-Google--Imagen-Vid-17497.html (Imagen) und Phenaki ) und Meta ( Make-a-Video) braucht Runway Gen 2 nicht zu scheuen. Runway Gen 1 ist aktuell nur in Form einer geschlossenen Beta zugänglich, Gen 2 soll bald starten.