Ein Team aus Forschern des israelischen Weizmann Institute of Science sowie Adobe Research hat einen interessanten neuen Algorithmus vorgestellt, der einen weiteren Meilenstein auf dem Weg zum einfachen, auch von Anfängern zu handhabenden objektbasierten Videoediting per KI darstellt.
Der Algorithmus analysiert das Inputvideo und zerlegt es in Vordergrund(objekte) und Hintergrund. Das Besondere ist dabei, dass der Algorithmus aus dem 2D-Video ein Verständnis der Objekte und ihrer Zusammenhänge im Raum entwickelt und so einzelne Objekte und den Hintergrund räumlich korrekt manipulieren kann, inklusive ua. bei Okklusionen, also wenn ein bewegtes Objekts kurzzeitig verdeckt wird.
Dadurch wird es ganz einfach, zum Beispiel den Hintergrund eines Videos auszutauschen, (bewegte) Objekte im Vordergrund zu manipulieren (auch etwa - wie im Beispielvideo zu sehen - den Stoff eines Kleides unter Einbeziehung eines sich beim Gehen ändernden Faltenwurfs) oder ganz klassisch Objekte aus einem Video gezielt zu entfernen. Der Algorithmus kommt dabei auch mit den sich durch Bewegungen ergebenden Änderungen des Hinter- oder Vordergrunds zurecht, sogar einer bewegten Wasserfläche oder dynamischen Spiegelungen und Schattenwurf.
Solche eigentlich komplexen Manipulationen lassen sich dank der neuen Methode durch ein simples Editieren eines einzigen Bildes des Hintergrunds oder des Vordergrunds ausführen - die Anpassungen an Perspektive oder Bewegungen erledigt dann der Algorithmus.
Noch ist die Methode nicht perfekt, aber schon besser und vor allem deutlich einfacher und universeller zu handhaben als bisherige Lösungen. Sollte sie in Zukunft noch weiter optimiert werden, könnte dieser Algorithmus vielleicht in vielen Fällen das traditionelle Chroma-Keying per Greenscreen ersetzen.
Adobe hat im Rahmen seiner KI-Sensei Technologie ja schon bewiesen, dass interessante KI-Forschung im Bereich Video auch in Consumer-Software wie Adobes Premiere Pro einfließen kann, wie zum Beispiel beim nachträglichen Ändern von Mimiken oder bei der Transkription von Dialogen. Wir sind also gespannt, wann die neue Technik reif für den Einsatz zum Beispiel in Premiere Pro sein wird. Ihr Potenzial, komplizierte Aufgaben in der Videobearbeitung zu vereinfachen, ist jedenfalls groß.
Und hier noch die Vorstellung des neuen Algorithmus durch 2 Minute Papers:
