ByteDance, die Muttergesellschaft von TikTok und Douyin, hat nach rund einem Jahr eine zweite Version von MagicVideo vorgestellt. Hierbei handelt es sich um ein KI-Modell zur Videogenerierung, welches nun Konkurrenten wie Pika 1.0, Runway und Stable Video Diffusion-XT übertreffen soll.
Zur Erzeugung können diverse Input-Verfahren genutzt werden: Ein gibt Text-zu-Bild-Modell, ein Bild-zu-Video-Modell (das eine Texteingabeaufforderung und das zuvor generierte Bild verwenden kann, um Keyframes zu erzeugen), ein Video-zu-Video-Modell, das Keyframes verfeinert und mit Superresolution hochrechnet. Am Ende steht dann immer noch ein Video-Frame-Interpolationsmodell, welches die Videobewegung durch Frame-Interpolation glättet.
Gerade letzteres scheint besonders interessant, denn ByteDance hebt als herausragende Fähigkeit von MagicVideo-V2 hervor, dass hiermit hochauflösende Videos mit verbesserter Wiedergabetreue und Geschmeidigkeit produziert werden können. Also kurz: Verbesserte Konsistenz über die Zeit.
Laut dem eher kurzen veröffentlichtem Paper sollen im direkten Sichtvergleich mit echten Menschen die Ergebnisse von MagicVideo-V2 führende Text-to-Video-Systeme wie Runway, Pika 1.0, Morph, Moon Valley und Stable Video Diffusion übertroffen haben.
Da fragt man sich unwillkürlich, ob ByteDance hierfür seinen umfangreichen Datenpool aus den zahlreichen, vorhandenen TikTok-Videos nutzen konnte. Und natürlich ist es stark anzunehmen, dass dem so ist.
Dies wiederum dürfte bedeuten, dass ByteDance in Zukunft auch bei KI-Videogenerierungs-Modellen ganz vorne mitspielen kann und wird. Bislang hatten wir hier vor allem Google weit vorne gesehen, welches mit Youtube auf einem mindestens vergleichbar großen Datenpool aus Bewegtbilddaten sitzt.
Unzweifelhaft werden KI-Videogeneratoren ein extrem großer Markt werden - und letztlich die Art, wie wir Videos und Filme produzieren für immer verändern.
