News: KI ermöglicht automatisches Layering von bewegten Video-Objekten

3.12.2020 - 10:57 Uhr

Forscher von Google und der Universität Oxford haben einen interessanten neuen AI-Algorithmus zur Manipulation von bewegten Personen in Videos vorgestellt. Der auf neuronalen Netzen beruhende Algorithmus erkennt verschiedene bewegte Objekte in einem Video und weist sie unterschiedlichen Ebenen zu - dadurch wird eine Vielzahl interessanter Effekte per Compositing der einzelnen Layer in Bezug zueinander möglich.

Aus Videos erzeugte
Aus Videos erzeugte

Zum Beispiel können so verschiedenen Objekte (samt ihrer Bewegung korrelierende Bildobjekte wie etwa ihr Schatten und ihre Reflektionen!) spurenlos entfernt, dupliziert, eingefroren oder per Retiming zeitlich zueinander versetzt und etwa Bewegungs-synchronisiert werden. Im Beispielvideo werden so etwa einige chaotisch auf verschiedenen Trampolins springende Personen per Time-Remapping zu einer im Takt hüpfenden Gruppe.

Das speziell auf die Erkennung von Personen trainierte neuronale Netz erledigt dabei eine Vielzahl von aufwändigen klassischen Compositing-Aktionen: es rekonstruiert etwa eine im Hintergrund vorbeilaufende verdeckte Person; es weist jeder Person den ihr zugehörigen Schatten und Reflektionen zu und generiert daraus eine Maske und es trennt sogar zwei sich temporär überlappende Schatten in einzelne Repräsentationen auf.

Die Methode ermöglicht das sehr einfache Erstellen bewegte Masken / Layern von Personen samt ihrer korrelierenden Spuren im Bild und deren simple Manipulation (wie etwa per Retiming) in einem Compositingprogramm. Die Möglichkeiten des intelligenten, objektbasierten Videoeditings und -compositings durch so einen Algorithmus sind gewaltig: so lassen sich - etwa zum Zweck einer besseren Bildkomposition - ganz einfach die Bewegungen von Menschen in einem Video nachträglich vollkommen verändern. Und das Ganze funktioniert auch bei einer bewegten Kamera.

Aus Videos erzeugte
Aus Videos erzeugte

Der Wermutstropfen besteht noch in der sehr geringen Videoauflösung von 448 × 256 Pixeln - um zum Einsatz im professionellen Umfeld zu gelangen, müsste der Algorithmus noch weiter optimiert werden bzw. auf stärkerer Hardware laufen, aber AI-Forschungsprojekte sind ja immer auch erst einmal Machbarkeitsstudien. Es ist nur eine Frage der Zeit bis ein für praktische Anwendungen interessanter KI-Algorithmus bis zur allgemeinen Einsatzfähigkeit weiterentwickelt wird.

Training
Training

Im Video des Projekts wird schön erklärt, wie das neuronale Netz trainiert wird, um bewegte Objekte samt korrelierten Effekten zu erkennen und daraus eine eigene Ebene zu erstellen - so wird auch schön der vollkommen andere Ansatz von Deep Learning im Gegensatz zu traditionellem Programmieren veranschaulicht.

Hier die Vorstellung der Methode durch Two Minute Papers:

Das Paper Layered Neural Rendering for Retiming People in Video wird auf der am 4.Dezember beginnenden SIGGRAPH Asia offiziell vorgestellt, dann sollte auch der Programm-Code auf GitHub online gehen, der in klassischen Compositingprogrammen manipulierbare Layer aus herkömmlichen Videos erzeugen soll.

Compositing mittels der erzeugten Layer
Compositing mittels der erzeugten Layer

(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

26.Januar 2021 - 17:24 Uhr
Sony stellt Alpha 1 Flaggschiff DSLM mit 50 MP bei 30 fps und 8K 10 Bit Video vor

26.Januar 2021 - 10:32 Uhr
Neu: Walimex pro Rainbow LED-RGBWW 50W, 100W und Pocket Soft Panels

25.Januar 2021 - 15:41 Uhr
Morgen: Neue Sony Alpha Kamera-Ankündigung im Live-Stream

25.Januar 2021 - 13:17 Uhr
Neu bei YouTube: Videos über Hashtags finden (und anbieten)



weitere News: