News: Perfekt für Musikvideos: Räumliches, objektbasiertes Videoediting per KI und 16 Kameras

19.9.2021 - 11:01 Uhr

Eine besonders interessantes Feld für den Einsatz von neuronalen Netzwerken ist die Interpolation perspektivischer Ansichten aus einigen Bildern (view synthesis) mittels sogenannter NeRFs (Neural layered Radiance Representation) - die Kunst besteht darin, aus möglichst wenigen solcher Bilder eines Objekts weitere fotorealistische Ansichten zu errechnen, was zum Teil schon überraschend gut funktioniert - auch bei Bildern mit Schattenwürfen oder Spiegelungen.

So hatte Ende letzten Jahres schon ein Team von Google und der Universität Oxford einen interessanten neuen AI-Algorithmus zur Manipulation von bewegten Personen in Videos gezeigt, welcher verschiedene bewegte Objekte in einem Video erkennt und sie unterschiedlichen Ebenen zuweist, wodurch eine Vielzahl interessanter Effekte per Compositing der einzelnen Layer in Bezug zueinander möglich wird.

Bilder der 16 Kameras
Bilder der 16 Kameras

Der Ansatz des Teams der ShangHaiTech Universität geht einen anderen Weg und versucht auf der Grundlage einer großen Anzahl von simultanen Ansichten -- es werden 16 Kameras eingesetzt für einen Sichtbereich von insgesamt 180°-- neue Möglichkeiten des objektbasierten, räumlichen Videoediting zu eröffnen.

Setup der 16 Kameras
Setup der 16 Kameras

Und tatsächlich - der neue Algorithmus ("space-time coherent neural layered radiance representation" aka ST-NeRF) vermag in Videos nicht nur verschiedene bewegte Objekte im Vordergrund vom Hintergrund zu trennen, er rekonstruiert auch korrekt verdeckte Hintergründe, ermöglicht das Klonen, Ändern der Größe und Re-Timing bewegter Objekte. All das auch per virtueller Kamera aus verschiedenen Perspektiven, die gleitend geändert werden können per virtueller Dollyfahrt.

Die Möglichkeiten des Verfahrens gerade zum Beispiel für Musikvideos wird extra in Democlips der Forscher vorgeführt - so kann die Tanzperformance zweier Tänzerinnen etwa nachträglich perfekt synchronisiert werden, die zwei Tänzerinnen zu einer ganzen Tanzgruppe multipliziert werden oder Performer können über die Bühne schweben. Ein weiterer Einsatzzweck sind virtuelle Kamerafahrten, die nachträglich frei nach Wahl der Regie aus den Perspektiven der einzelnen Kameras synthetisiert werden können oder auch eine Dollyfahrt einer eingefrorenen Szene (aka Bullet-Time Effekt).



mehr Bilder zur News:

Duplicated dancers
Duplicated dancers
(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

26.Oktober 2021 - 12:10 Uhr
Apple iOS 15.1: ProRes Video jetzt auch für native Kamera App auf dem iPhone 13 Pro und Max

26.Oktober 2021 - 10:34 Uhr
Jetzt offiziell: Sony Xperia PRO-I mit RX100 VII Sensor, 4K120p und Micro-SDXC

25.Oktober 2021 - 13:56 Uhr
Sony bringt 1 Zoll Sensor ins Smartphone - Xperia PRO-I

25.Oktober 2021 - 11:04 Uhr
Übertrifft Intels Core i9 12900HK Apples M1 Max und AMDs mobile Ryzen?



weitere News: