News: Mit neuer Google KI in Photos von Landschaften hineinfliegen

16.10.2022 - 13:40 Uhr

Ein Team aus Forschern von Google Research der Cornell University und der UC Berkeley hat eine neue KI namens InfiniteNature-Zero vorgestellt, welche es ermöglicht, Photos von natürlichen Landschaften mit virtuellen Kamerafahrten zu durchfliegen. Durch eine Kombination von Inpainting, Outpainting und Super-Resolution Techniken produziert die neue KI Algorithmus eine quasi unendliche Landschaftsflugaufnahme - ausgehend vor nur einem einzigen vorgegebenen Foto. Das resultierende Video simuliert eine Kamerafahrt und erweckt durch ein kontinuierliches Zoomen bzw. Morphing den Eindruck eines Drohnenflugs über eine natürliche Landschaft. Der Betrachter kann sogar interaktiv die Flugrichtung ändern.

Die Qualität der Videos ist noch nicht sehr hoch und die Auflösung beträgt nur 512 x 512 Pixel, aber wie immer bei solchen Forschungsarbeiten wird eine neue Methode erst prinzipiell demonstriert, bevor dann das Augenmerk auf höherwertige Resultate gelegt wird.

!

Interessanterweise wurde die InfiniteNature-Zero KI nicht mittels echter Flugaufnahmen, sondern nur anhand von einzelnen Photos von Landschaften (keine Photoserien) ohne weitere Daten wie Kameraposition oder -ausrichtung trainiert. Die vorherige Version benötigte zum Training noch von Drohnen gefilmte Videos.

!

Um die virtuellen Flugaufnahmen zu produzieren, mussten mehrere einzelne Probleme gelöst werden: so müssen Bildinformationen ergänzt werden, welche im ursprünglichen Anfangsbild nicht vorkommen, wie z.B. versteckte Bereiche auf einem Foto, welche bei einer Kamerafahrt dann aber sichtbar werden. Beispielsweise muss eine Stelle, die hinter Bäumen verborgen ist, generiert werden.

Dies geschieht durch "Inpainting", eine Methode, die auch bildgenerierende KIs wie Stable Diffusion bieten. Die KI produziert anhand des von ihr gelernten Bildmaterials einen wahrscheinlichen Bildinhalt für die vormals verdeckte Stelle.

Um den Effekt des Fliegens zu erzeugen, muss die KI auch Bildinhalte generieren, die sich außerhalb der Grenzen des Fotos an den Seiten befinden. Dies wird als "Outpainting" bezeichnet und auch hier muss die KI auf der Grundlage des Originalfotos passende, fehlende Bildinformationen per Deep Learning erzeugen. Da beim virtuellen Zoom in das Photo auch die Unschärfe zunimmt und Bildinhalte pixelig erschienen, wird das Bild zusätzlich noch per KI-Superresolution nachträglich geschärft.

Im folgenden Video von 2 Minute Papers wird auch gezeigt, wieviel besser die neue Methode ist im Vergleich zu älteren Versionen:

(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

8.Februar 2023 - 16:27 Uhr
Kompakter und mit neuem Fokusmotor: SIGMA 50mm F1.4 DG DN | Art Standard-Objektiv vorgestellt

8.Februar 2023 - 14:50 Uhr
Neue Firmware für Sigma fp und fp L Kameras bringt EL ZONE Farbmodus, Support für 4TB SSDs und Atomos Cloud

8.Februar 2023 - 11:03 Uhr
Canon stellt EOS R50 DSLM mit APS-C Sensor für 829,- Euro vor

8.Februar 2023 - 10:42 Uhr
Canon EOS R8 - Vollformat Hybrid Kamera mit 10 Bit Log unter 2000 Euro



weitere News: