Ein Team von Google-Forschern hat einen Algorithmus entwickelt, mit dessen Hilfe mehrere (verrauschte) RAW Photos aus verschiedenen Winkeln einer dunklen Szene dazu genutzt werden können, um vom Low Noise Bildrauschen befreite, hellere Bilder zu generieren, auf denen viel mehr Details zu erkennen sind als auf dem ursprünglichen Photos. Das neue, MultiNeRF-Verfahren basiert auf der Neural Radiance Fields (NeRF) Technik, die aus mehreren Bildern aus unterschiedlichen Perspektiven neue Ansichten synthetisieren kann und ergänzt wurde um die Fähigkeit, auch mit dunklen Photos zu funktionieren.
Die neue, RawNeRF getaufte Methode ergänzt den bisherigen Algoritmhus, sodass dieser auch verrauschtes RAW Rohmaterial für neue synthetische Ansichten nutzen kann. Sie wird unter anderem am Beispiel einer Szene demonstriert, die mit einem Smartphone photographiert und nur von einer Kerze beleuchtet wurde. Das Smartphone erzeugt zwar ein recht anschauliches Bild, aber um den Preis, daß viele Details wegfallen. Die RAW-Version des Photos zeigt dagegen viel mehr Details, wenn die Helligkeit des Bildes erhöht wird, aber dafür rauscht es auch viel stärker.
Werden die Bilder in den RawNeRF Algorithmus eingespeist, werden klare helle Bilder generiert - oder auf Wunsch auch eine virtuelle Kamerafahrten, die die ursprüngliche dunkle Szene samt der sonst schwer zu erkennenden Objekte viel heller und ohne Bildrauschen zeigen. RawNeRF nutzt eine relativ große Menge verrauschte RAW Photos (25-200) und übertrifft laut den Forschern dedizierte bisherige Einzelbild- und Mehrbild-Entrauschungsverfahren, welche die selben Photoserien nutzen.
Aber darauf beschränkt sich die Methode nicht - sie bietet noch weitere interessante Möglichkeiten, die Darstellung der neu synthetisierten Ansicht zu ändern: so kann im Nachhinein nicht nur die Perspektive, sondern auch die Belichtung der Szene, das Tonemapping sowie auch der Fokus dynamisch geändert werden.
So kann der neue Algorithmus dazu genutzt werden, um interessante Animationen von Photos zu erstellen, aber für Filmer dürfte es besonders interessant sein, die Entrauschungsmethode auch auf LowLight (RAW-)Videos dunkler Szenen mit viel Noise anzuwenden, die ja nichts anderes sind, als Abfolgen von Einzelbildern. Zwar sind die Bildsensoren professioneller Kameras deutlich größer und damit auch lichtempfindlicher als die von Smartphonekameras, aber auch hier dürfte die Methode deutliche Bildverbesserungen von dunklen Bildern ermöglichen. Voraussetzung ist aber vermutlich eine zumindest leicht bewegte Kamera, damit der Algorithmus genügend Bilder aus anderen Perspektiven hat, um die Zwischenbilder zu synthetisieren bzw. Bilder zu entrauschen.
Hier die wie immer sehr unterhaltsame und lehrreiche Vorstellung von MultiNeRF durch "2 Minute Papers":
Die Erfahrung lehrt, daß nützliche neue Bildverfahren aus der Forschung ihren Weg auch bald in kommerzielle (oder Open Source) Software für den User finden - wir dürfen also darauf hoffen, bald auch selbst Low-Light Photos oder Videos hochwertig zu entrauschen. Hier die Forschungsarbeit ("NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images") plus der Link zum quelloffenen Code.
