Gerade hatten wir erst unseren aktuellen Artikel über generative KI Videos freigeschaltet, da kommt Google schon mit dem nächsten interessanten Projekt um die Ecke.
Neural Dynamic Image-Based Rendering (kurz und kryptisch: DynIBaR) nennt sich eine Technik, die es ermöglicht, aus einer einzigen Kameraperspektive eine Kamerafahrt um ein Objekt wie bei einem eingeschränkten Bullet Time Effekt zu generieren. Da das KI-Modell hierbei viele Voraussagen über die Bildkomposition errechnet, fallen als Nebeneffekte auch noch Slow Motion, Bildstabilisierung sowie synthetische Tiefenschärfe/Bokeh ab.
Im folgenden Video lässt sich die mögliche Qualität von DynIBaR näher betrachten:
Interessant ist dabei, dass dieses KI-Modell letztlich bereits viele KI-Postproduktionsschritte auf einmal beherrscht, die wir in unserem Grundlagenartikel "Wie filmt man am besten für eine computational Postproduction?" beschrieben haben.
Das ganze eröffnet zudem weitaus größere Welten durch die damit möglichen Regie-Eingriffen, die wir bereits in unserem Artikel über regenerative KI-Videos angerissen hatten. Man könnte beispielsweise die typischen Wes-Anderson KI-Clips - natürlich ganz untypisch für Wes Anderson - nun mit Kamerabewegungen noch mehr Bewegungs-Dynamik verleihen. Für subtile Dolly Zoom Fahrten oder Fokus-Verlagerungen scheint sich DynIBaR jedenfalls schon ganz gut zu bewähren.
Wir glauben tatsächlich, dass bereits in wenigen Jahren ein Filmkomposition über solche "Modifier" funktionieren kann und wird. D.h. man generiert für einen Film mittels generativer KI die notwendigen Standbilder für eine Art Storyboard und animiert diese dann über virtuelle Kamerafahrten und steuert dazu die Objektbewegungen wie Marionetten.
Klingt noch wie die entfernte Zukunft? Offensichtlich hat sie jedenfalls schon begonnen...
