Es ist nicht das erste mal, dass man mittels KI versucht, Zwischenbilder aus einer Bildsequenz zu berechnen. Allerdings ist die nun erzielte Qualität von ADOP (Approximate Differentiable One-Pixel Point Rendering) so gut, dass es das Projekt in den beliebten Stream der Two Minute Papers geschafft hat.
Tatsächlich ist der Sichteindruck der KI-Interpolation mit ADOP kaum noch von der Realität zu unterscheiden, sofern das Programm nicht vor extrem schwer aufzulösende Probleme gestellt wird (u.a. spiegelnde Flächen oder bewegte Objekte zwischen den Bildern). Auch ein leichtes Flackern von Flächen fällt gelegentlich ins Auge, jedoch würde kaum jemand von dem gezeigten Spielplatz-Video ahnen, dass es aus einer Bildsequenz erstellt wurde.
Bemerkenswert ist ebenfalls, dass die Arbeit komplett an der Friedrich Alexander Universität bzw. an deren Lehrstuhl für Graphische Datenverarbeitung in Erlangen entstanden ist. Überfliegt man dort die Forschungsarbeiten der drei Autoren (Darius Rückert, Linus Franke und Marc Stamminger), so scheint ADOP nur ein Projekt von vielen gewesen zu sein.
Wer etwas Compiler- und KI-Erfahrung hat, kann das Projekt selber dank Github-Page als C++/CUDA/ libTorch-Projekt zum laufen bringen. Eine schnelle Nvidia-GPU sollte für akzeptable Trainingszeiten ausreichen.
Auf der Github-Page findet sich weiters auch ein experimenteller VR-Viewer für die interpolierte Szene, sowie ein Tool welches HDR-Szenen erzeugt, wenn die Input Bildsequenzen mit verschiedenen Belichtungen aufgenommen wurden.
Wie man gut sehen kann, eröffnet die KI hier ein weites Anwendungsfeld über die Frame-Interpolation hinaus, das wir in den nächsten Jahren mit Sicherheit in diversen kommerziellen Applikationen wiederfinden werden. Und "Computational Cinematographie" wird mit Sicherheit nicht mehr verschwinden...
