News: Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt

16.5.2022 - 12:44 Uhr

Um trotz schlechter Lichtverhältnisse noch erkennbare Videos aufzunehmen, wird die Verstärkung (Gain) erhöht - so wird jedes Pixel lichtempfindlicher. Allerdings wird so auch das Rauschen in jedem Bild verstärkt: je heller das Bild per Gain gemacht wird, desto mehr rauscht es auch. Mit besonders empfindlichen CMOS-Kameras ist es derzeit möglich, auch nachts nur bei Mondlicht (d.h. einer Beleuchtungsstärke von nur 0.05-0.3 Lux) Videos aufzunehmen, diese sind jedoch relativ verrauscht.

!

Ein Team der Intel Labs und der University of California Berkeley hat jetzt in einer neuen Forschungsarbeit mit dem schönen Titel "Tanzen unter den Sternen: Video-Entrauschung bei Sternenlicht" eine neue KI-Methode zur Rauschunterdrückung von Videos vorgestellt, die bei extrem schwacher Beleuchtung von Bruchteilen eines Lux aufgenommen wurden.

!

Demonstriert wird die neue Deep-Learning Entrauschungsmethode anhand von 5-10 fps Videoaufnahmen mit einer RGB plus NIR (Nahes Infrarotlicht) Spezialkamera, welche nur mithilfe von Sternenlicht bei 0.6 Millilux beleuchtet wurden. Das Endergebnis sind fotorealistische Aufnahmen quasi ohne Bildrauschen und andere sonst bei schlechten Lichtverhältnissen auftretende Bildfehler. Der Algorithmus wurde mit mehreren anspruchsvollen Szenen mit viel Bewegung getestet, in denen Personen nur durch das Licht der Milchstraße beleuchtet tanzen, während ein Meteoritenschauer von oben herabregnet.

Der neue Algorithmus wurde anhand von Videomaterial, welches mittels einer speziellen Methode künstlich verrauscht wurde, sowie natürlich verrauschtem Video trainiert. Durch die künstlich verrauschten Videos wurde automatisch Referenzmaterial produziert, anhand dessen eingeschätzt werden konnte, wie gut die Entrauschung funktioniert und darauf aufbauend auch verbessert werden konnte.

!

Auch im Vergleich mit anderen Methoden schneidet der neue Algorithmus sehr gut ab:

Eingesetzter Sensor

Verwendet wurde der extrem lichtstarke Canon LI3030 SAI RGB-NIR Sensor mit einer Auflösung von 2.160 x 1.280 19µm großen Pixeln, analogem 16-Kanal Ausgang und erhöhter Quanteneffizienz im Nahen Infrarotbereichg (NIR). Dieser nutzt ein Bayer-Muster, das aus roten, grünen, blauen (RGB) und NIR-Kanälen (800-950nm) besteht. Jeder RGB-Kanal hat eine zusätzliche Durchlässigkeitsspitze, die sich mit dem NIR-Kanal überlappt, um den Lichtdurchsatz bei Nacht zu erhöhen. Unter Tageslicht kann der NIR-Kanal von jedem RGB-Kanal subtrahiert werden.

Beschränkungen

Die von den Forschern gewählte Methode hat allerdings auch ihre Grenzen. Erstens ahmt der zum Training verwendete Rauschgenerator momentan nur eine einzige Verstärkungseinstellung nach (in diesem Fall die höchste Verstärkung). Außerdem sind die Farben der entrauschten Nachtvideos eher stumpf, da ein großer Bildanteil aus dem monochromen nahen Infrarot Spektralbereich stammt. Durch spezielle DeepLearning-Methoden könnten die Bilder allerdings in Zukunft korrekt eingefärbt werden.

(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

30.Juni 2022 - 17:17 Uhr
Xiaomi 12S Ultra Smartphone wird mit 1" Sensor filmen

30.Juni 2022 - 12:23 Uhr
KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2

29.Juni 2022 - 15:48 Uhr
Anamorphotischer Adapter von Moment - kompatibel mit vielen Objektiven

29.Juni 2022 - 11:54 Uhr
Nikon Z 30: Kompakte 4Kp30- APS-C Kamera fürs Vlogging



weitere News: