News: KI berechnet Videoclip aus Bildsequenz - ADOP

30.11.2021 - 11:59 Uhr

Es ist nicht das erste mal, dass man mittels KI versucht, Zwischenbilder aus einer Bildsequenz zu berechnen. Allerdings ist die nun erzielte Qualität von ADOP (Approximate Differentiable One-Pixel Point Rendering) so gut, dass es das Projekt in den beliebten Stream der Two Minute Papers geschafft hat.

Tatsächlich ist der Sichteindruck der KI-Interpolation mit ADOP kaum noch von der Realität zu unterscheiden, sofern das Programm nicht vor extrem schwer aufzulösende Probleme gestellt wird (u.a. spiegelnde Flächen oder bewegte Objekte zwischen den Bildern). Auch ein leichtes Flackern von Flächen fällt gelegentlich ins Auge, jedoch würde kaum jemand von dem gezeigten Spielplatz-Video ahnen, dass es aus einer Bildsequenz erstellt wurde.

!

Bemerkenswert ist ebenfalls, dass die Arbeit komplett an der Friedrich Alexander Universität bzw. an deren Lehrstuhl für Graphische Datenverarbeitung in Erlangen entstanden ist. Überfliegt man dort die Forschungsarbeiten der drei Autoren (Darius Rückert, Linus Franke und Marc Stamminger), so scheint ADOP nur ein Projekt von vielen gewesen zu sein.

Wer etwas Compiler- und KI-Erfahrung hat, kann das Projekt selber dank Github-Page als C++/CUDA/ libTorch-Projekt zum laufen bringen. Eine schnelle Nvidia-GPU sollte für akzeptable Trainingszeiten ausreichen.

Auf der Github-Page findet sich weiters auch ein experimenteller VR-Viewer für die interpolierte Szene, sowie ein Tool welches HDR-Szenen erzeugt, wenn die Input Bildsequenzen mit verschiedenen Belichtungen aufgenommen wurden.

Wie man gut sehen kann, eröffnet die KI hier ein weites Anwendungsfeld über die Frame-Interpolation hinaus, das wir in den nächsten Jahren mit Sicherheit in diversen kommerziellen Applikationen wiederfinden werden. Und "Computational Cinematographie" wird mit Sicherheit nicht mehr verschwinden...

(rudi)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

25.Januar 2022 - 10:48 Uhr
Neue Firmware für DJI Mavic 3 bringt QuickShots, Burst, Panorama-Modus, QuickTransfer uvm.

25.Januar 2022 - 09:50 Uhr
Kostenloses Apple Webinar (dt): "MacBook Pro - Supercharged for Pros" - Teil 2

24.Januar 2022 - 15:07 Uhr
Tokina veröffentlicht 21mm T1.5 und 29mm T1.5 Cinema Vista Prime Objektive

24.Januar 2022 - 09:12 Uhr
CAME-TV 5.4" OnCamera Monitor mit 3G-SDI und HDMI 2.0



weitere News: