In vielen Bereichen revolutionieren neue AI/Deep Learning-Algorithmen die Arbeit mit Video - ein interessantes Anwendungsgebiet ist die intelligente Interpolation von Bildwiederholungsraten, d.h. das Errechnen von einem (oder auch mehreren Bildern) zwischen zwei vorhandenen Bildern eines Videos. Das Problem ist dabei, Bewegungen von Objekten so zu interpolieren, dass sie auf den synthetisierten Bildern logisch fortgeführt wird. Richtig gut kann das nur funktionieren, wenn der Algorithmus nicht nur Objekte (und Teile davon) identifizieren kann und ihre Bewegung sowie Formveränderung interpolieren kann, sondern auch erkennen kann, in welcher Raumtiefe welches Objekt liegt, um gegenseitige Verdeckungen richtig vorauszusagen.
Das (und noch mehr) macht der neue, von einem Forscherteam der Universitäten von Shanghai, Kalifornien und Google entwickelte DAIN (Depth-Aware Video Frame Interpolation) Algorithmus. Er nutzt vier verschiedene neuronale Netzwerke (jeweils eines für Optical Flow Estimation, Depth Estimation, Content Extraction und Kernel Estimation) für die unterschiedlichen Probleme der korrekten Interpolation und synthetisiert deren Ergebnisse dann zu einem Video. Das funktioniert verblüffend gut - was man an anhand der unten eingebetteten Beispielvideos gut sehen kann - und demonstriert, was gerade State-of-the-Art im Bereich Frame Interpolation ist.
Nützlich ist dies nicht nur, um zum Beispiel Animationen nachträglich flüssiger zu machen - es kann auch (altes) 24p Filmmaterial im Nachhinein auf 60fps interpoliert werden. Eine weitere Anwendung wäre es, 8K z.B. als 10fps Einzelbildfolge aufzunehmen und nachträglich auf eine höhere Bildwiederholungsrate aufzupumpen.
Im folgenden Video wird per DAIN zum Beispiel eine 16fache flüssige Zeitlupe errechnet:
Netterweise hat jemand den Code von DAIN in Form einer DAIN-App für Windows zusammengestellt. So kann jeder User selbst anhand seines eigenen Videomaterials einfach ausprobieren, wie gut die Interpolation der Bildrate per DAIN im vergleich zu herkömmlichen Interpolationsverfahren funktioniert - Voraussetzung für die Berechnung ist allerdings CUDA.
Die App befindet sich noch in einem frühen Stadium und ist noch nicht optimiert (und deshalb 1 GB groß). Je nach GPU-Power können die Berechnungen ziemlich lange dauern. Postet Eure Erfahrungen, wir sind gespannt!
Noch mehr Beispiele:
Alte Harryhausen Animationen:
