Runway Research, das Unternehmen hinter der Bild-KI Stable Diffusion, hat gerade die neue Video-KI Runway Gen2 angekündigt, deren Fähigkeiten die der ersten Version ( Runway Gen1) deutlich übersteigen. War diese noch beschränkt auf Änderungen eines bestehenden Videos (Video-to-Video) per Prompt oder Vor-Bild, bietet die neue Version jetzt die Möglichkeit, beliebige Videos nur per Textprompt (Text-to-Video) zu generieren - ganz analog zur Erzeugung von Bildern mittels der Text-to-Image-KIs wie Stable Diffusion oder Midjourney. Alternativ können auch einzelne Bilder zum Leben erweckt werden im neuen Variations-Modus (Image-to-Video).
Prompt: "Aerial drone footage of a mountain range" -
Runway Gen 2 baut auf den Funktionen der im Februar vorgestellten Gen 1 auf und bietet so zusätzlich zur Generierung von Video per Textprompt auch dessen Funktionen, wie die Möglichkeit, ausgehend von einem Textprompt oder einem Beispielbild, den Stil, die Komposition oder auch den Inhalt eines Videos zu manipulieren (ähnlich wie das neulich gezeigte, jedoch weniger ausgereifte Tune-a-Video).
Zudem kann mit Hilfe eines speziellen Stilisierungsmodus der Stil oder Look eines Clips per Textbeschreibung verändert werden, während sich im Storyboard-Modus eine einfache, bewegte Skizze in eine fertige Animation umwandeln läßt. Ein sechster Modus bietet eine Maskenfunktionalität - Objekte können z.B. per Text ausgewählt und gezielt verändert werden. Im siebten Modus können grobe 3D-Modelle um passende Texturen ergänzt werden, sodass gerenderte Objekte entstehen. Und schließlich ist es im Customization-Modus möglich, Gen-2 speziell auf eigene Bedürfnisse anzupassen.
Prompt: "The late afternoon sun peeking through the window of a New York City loft" -
Im Video zu Runway Gen 2 wird auch demonstriert, wie stetig sich die Bildqualität von Gen 1 seit dem Start verbessert hat. Und tatsächlich weisen die per Gen 2 generierten Videos eine sehr hohe Qualität auf: verbessert wurde die sonst berüchtigte Inkonsistenz der Motive von Einzelbild zu Einzelbild, sowie die Qualität der Komposition und allgemeinen Darstellung, die nur noch wenige Bildfehler aufweist.
Im Vergleich zu VideoFusion, der gerade veröffentlichten Video-KI, welche als erste solche einen öffentlichen Quellcode samt Modellen bietet und die auch auf Heim-PCs läuft, ist die Qualität (und Auflösung) von Gen 2 schon mehrere Generationen weiter. Aber auch den Vergleich zu den Video-KIs der großen Player wie Google ( Imagen und Phenaki ) und Meta ( Make-a-Video) braucht Runway Gen 2 nicht zu scheuen. Runway Gen 1 ist aktuell nur in Form einer geschlossenen Beta zugänglich, Gen 2 soll bald starten.
