News: Runway Gen2: Stable Diffusion Schöpfer stellen neue Text-to-Video-KI vor

20.3.2023 - 19:58 Uhr

Runway Research, das Unternehmen hinter der Bild-KI Stable Diffusion, hat gerade die neue Video-KI Runway Gen2 angekündigt, deren Fähigkeiten die der ersten Version (https://www.slashcam.de/news/single/Runway-Gen1--Neue-Video-KI-stilisiert-Videos--mask-17715.html (Runway Gen1)) deutlich übersteigen. War diese noch beschränkt auf Änderungen eines bestehenden Videos (Video-to-Video) per Prompt oder Vor-Bild, bietet die neue Version jetzt die Möglichkeit, beliebige Videos nur per Textprompt (Text-to-Video) zu generieren - ganz analog zur Erzeugung von Bildern mittels der Text-to-Image-KIs wie Stable Diffusion oder Midjourney. Alternativ können auch einzelne Bilder zum Leben erweckt werden im neuen Variations-Modus (Image-to-Video).

Runway Gen 2 Beispielclips
Runway Gen 2 Beispielclips

Prompt: "Aerial drone footage of a mountain range" -

Runway Gen 2 baut auf den Funktionen der im Februar vorgestellten Gen 1 auf und bietet so zusätzlich zur Generierung von Video per Textprompt auch dessen Funktionen, wie die Möglichkeit, ausgehend von einem Textprompt oder einem Beispielbild, den Stil, die Komposition oder auch den Inhalt eines Videos zu manipulieren (ähnlich wie das neulich gezeigte, jedoch weniger ausgereifte Tune-a-Video).

Zudem kann mit Hilfe eines speziellen Stilisierungsmodus der Stil oder Look eines Clips per Textbeschreibung verändert werden, während sich im Storyboard-Modus eine einfache, bewegte Skizze in eine fertige Animation umwandeln läßt. Ein sechster Modus bietet eine Maskenfunktionalität - Objekte können z.B. per Text ausgewählt und gezielt verändert werden. Im siebten Modus können grobe 3D-Modelle um passende Texturen ergänzt werden, sodass gerenderte Objekte entstehen. Und schließlich ist es im Customization-Modus möglich, Gen-2 speziell auf eigene Bedürfnisse anzupassen.

Prompt: "The late afternoon sun peeking through the window of a New York City loft" -

Im Video zu Runway Gen 2 wird auch demonstriert, wie stetig sich die Bildqualität von Gen 1 seit dem Start verbessert hat. Und tatsächlich weisen die per Gen 2 generierten Videos eine sehr hohe Qualität auf: verbessert wurde die sonst berüchtigte Inkonsistenz der Motive von Einzelbild zu Einzelbild, sowie die Qualität der Komposition und allgemeinen Darstellung, die nur noch wenige Bildfehler aufweist.

Verbesserungen der Qualität von Runway Gen 1 im Laufe weniger Wochen
Verbesserungen der Qualität von Runway Gen 1 im Laufe weniger Wochen

Im Vergleich zu VideoFusion, der gerade veröffentlichten Video-KI, welche als erste solche einen öffentlichen Quellcode samt Modellen bietet und die auch auf Heim-PCs läuft, ist die Qualität (und Auflösung) von Gen 2 schon mehrere Generationen weiter. Aber auch den Vergleich zu den Video-KIs der großen Player wie Google (https://www.slashcam.de/news/single/Text-zu-Video-KI-jetzt-auch-von-Google--Imagen-Vid-17497.html (Imagen) und Phenaki ) und Meta ( Make-a-Video) braucht Runway Gen 2 nicht zu scheuen. Runway Gen 1 ist aktuell nur in Form einer geschlossenen Beta zugänglich, Gen 2 soll bald starten.

!
(thomas)

mehr Informationen

Kommentare lesen/schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

4.Dezember 2023 - 16:17 Uhr
Filmic Pro - Team aus dem Rennen, Pferd läuft noch weiter

4.Dezember 2023 - 12:03 Uhr
Nikon Z8/Z9 demnächst mit Open Gate Anamorphoten-Aufnahme. neuem N-Log, 8,3K 120p Burst ...?

3.Dezember 2023 - 15:43 Uhr
AJAs Color Box erhält RED Zertifizierung

2.Dezember 2023 - 23:01 Uhr
Team Group T-CREATE CinemaPr P31 - Externe USB-C SSD mit Mounting-Holes



weitere News: