News: Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt

Ein Team der Intel Labs und der University of California Berkeley hat jetzt in einer neuen Forschungsarbeit mit dem schönen Titel "Tanzen unter den Sternen: Video-Entrauschung bei Sternenlicht" eine neue KI-Methode zur Rauschunterdrückung von Videos vorgestellt, die bei extrem schwacher Beleuchtung von Bruchteilen eines Lux aufgenommen wurden.

Demonstriert wird die neue Deep-Learning Entrauschungsmethode anhand von 5-10 fps Videoaufnahmen mit einer RGB plus NIR (Nahes Infrarotlicht) Spezialkamera, welche nur mithilfe von Sternenlicht bei 0.6 Millilux beleuchtet wurden. Das Endergebnis sind fotorealistische Aufnahmen quasi ohne Bildrauschen und andere sonst bei schlechten Lichtverhältnissen auftretende Bildfehler. Der Algorithmus wurde mit mehreren anspruchsvollen Szenen mit viel Bewegung getestet, in denen Personen nur durch das Licht der Milchstraße beleuchtet tanzen, während ein Meteoritenschauer von oben herabregnet.

Der neue Algorithmus wurde anhand von Videomaterial, welches mittels einer speziellen Methode künstlich verrauscht wurde, sowie natürlich verrauschtem Video trainiert. Durch die künstlich verrauschten Videos wurde automatisch Referenzmaterial produziert, anhand dessen eingeschätzt werden konnte, wie gut die Entrauschung funktioniert und darauf aufbauend auch verbessert werden konnte.

Auch im Vergleich mit anderen Methoden schneidet der neue Algorithmus sehr gut ab:

Eingesetzter Sensor

Verwendet wurde der extrem lichtstarke Canon LI3030 SAI RGB-NIR Sensor mit einer Auflösung von 2.160 x 1.280 19µm großen Pixeln, analogem 16-Kanal Ausgang und erhöhter Quanteneffizienz im Nahen Infrarotbereichg (NIR). Dieser nutzt ein Bayer-Muster, das aus roten, grünen, blauen (RGB) und NIR-Kanälen (800-950nm) besteht. Jeder RGB-Kanal hat eine zusätzliche Durchlässigkeitsspitze, die sich mit dem NIR-Kanal überlappt, um den Lichtdurchsatz bei Nacht zu erhöhen. Unter Tageslicht kann der NIR-Kanal von jedem RGB-Kanal subtrahiert werden.

Beschränkungen

Die von den Forschern gewählte Methode hat allerdings auch ihre Grenzen. Erstens ahmt der zum Training verwendete Rauschgenerator momentan nur eine einzige Verstärkungseinstellung nach (in diesem Fall die höchste Verstärkung). Außerdem sind die Farben der entrauschten Nachtvideos eher stumpf, da ein großer Bildanteil aus dem monochromen nahen Infrarot Spektralbereich stammt. Durch spezielle DeepLearning-Methoden könnten die Bilder allerdings in Zukunft korrekt eingefärbt werden.