News: KI ersetzt den Himmel in Videos und macht den Tag zur Nacht

29.11.2020 - 11:18 Uhr

Und wieder etwas KI-Magie: ein neuer Deep Learning Algorithmus namens SkyAR kann in Videos den Himmel samt seiner speziellen Lichtstimmung austauschen. Schon die erste Version eines ähnlichen Projekts hatte 2017 sehr interessante Möglichkeiten eröffnet (wenn auch resultierende Videos noch nicht perfekt waren) und vermochten es zum Beispiel recht überzeugend, Tagesaufnahmen in Nachtaufnahmen umzuwandeln oder Winter- in Sommeraufnahmen - inklusive Änderung der Beleuchtung und Reflektionen dieser (neuen) Lichter in (bewegten) Bildobjekten.

Tag zu Nacht 2017
Tag zu Nacht 2017

Die neue Version ("Dynamic Sky Replacement and Harmonization in Videos") richtet ihr Augenmerk auf einen anderen Gesichtspunkt der Himmelssubsitution - sie ermöglicht es, nicht nur den Himmel zu ersetzen, sonder auch Objekte wie etwa ein Luftschloss einzublenden oder das Wetter zu wechseln.

Es müssen eine ganze Reihe von zusammenhängenden Operationen für das Endergebnis durchlaufen werden, wie etwa eine Erkennung der Kamerabewegung, das Trennen von Himmel und dem Rest der Szene in unterschiedliche Ebenen sowie ein Ersetzen des Himmels durch das Bild eines anderen samt Angleichung der Beleuchtung.

Hier ist die neue Methode des "Sky Replacements" noch einmal eingeordnet und erklärt durch Károly Zsolnai von der TU Wien in seinem Two Minute Papers YouTube Kanal:

Die Ergebnisse des neuen Algorithmus sind relativ hochwertig - mit einer einzigen NVIDIA Titan XP-Grafikkarte erreicht er eine Echtzeit-Verarbeitungsgeschwindigkeit (24 fps) bei einer Ausgabeauflösung von 640 x 320 Pixeln und eine nahezu Echtzeit-Verarbeitungsgeschwindigkeit (15 fps) bei einer Auflösung von 854 x 480 Pixeln. Hier der Code zum selber ausprobieren - die entsprechenden Kentnisse vorausgesetzt.

Wie immer gibt es entsprechende Algorithmen für Photos schon länger und sie sind auch schon in kommerziellen Photobearbeitungsprogrammen wie Photos Adobe Photoshop und Luminar im Einsatz - vergleichbare Algorithmen für Videos sind immer komplizierter, da zusätzlich zur eigentlichen Funktion noch auf eine zeitlich Konsistenz geachtet werden muss zwischen den Einzelbildern.

Tag zu Nacht 2020
Tag zu Nacht 2020

Es wird aber vermutlich nicht allzu lange dauern, bis der neue Algorithmus auch in Videobearbeitungsprogrammen bzw. Plugins Einzug hält oder sogar als Filter auf dem Smartphone für Videos verfügbar sein wird und so allgemein möglich macht, was bisher nur großen Filmproduktionen möglich war: ein glaubhafter Austausch des Himmels samt Lichtstimmung - zum Beispiel um eine Szene dramatischer zu gestalten oder den Tag zur Nacht zu machen. Sollte das in Zukunft gut genug klappen, wären Filmemacher bei Außenaufnahmen ein ganzes Stück vom Wetter und den vorherrschenden Lichtverhältnissen unabhängiger.

Hier ein Vergleich der Ergebnisse eines Austauschs des Himmels in Photos per Adobe Photoshop 2021 und Luminar 4:

(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

26.Januar 2021 - 17:24 Uhr
Sony stellt Alpha 1 Flaggschiff DSLM mit 50 MP bei 30 fps und 8K 10 Bit Video vor

26.Januar 2021 - 10:32 Uhr
Neu: Walimex pro Rainbow LED-RGBWW 50W, 100W und Pocket Soft Panels

25.Januar 2021 - 15:41 Uhr
Morgen: Neue Sony Alpha Kamera-Ankündigung im Live-Stream

25.Januar 2021 - 13:17 Uhr
Neu bei YouTube: Videos über Hashtags finden (und anbieten)



weitere News: