Mit neuer Google KI in Photos von Landschaften hineinfliegen

// 13:40 So, 16. Okt 2022von

Ein Team aus Forschern von Google Research der Cornell University und der UC Berkeley hat eine neue KI namens InfiniteNature-Zero vorgestellt, welche es ermöglicht, Photos von natürlichen Landschaften mit virtuellen Kamerafahrten zu durchfliegen. Durch eine Kombination von Inpainting, Outpainting und Super-Resolution Techniken produziert die neue KI Algorithmus eine quasi unendliche Landschaftsflugaufnahme - ausgehend vor nur einem einzigen vorgegebenen Foto. Das resultierende Video simuliert eine Kamerafahrt und erweckt durch ein kontinuierliches Zoomen bzw. Morphing den Eindruck eines Drohnenflugs über eine natürliche Landschaft. Der Betrachter kann sogar interaktiv die Flugrichtung ändern.




Die Qualität der Videos ist noch nicht sehr hoch und die Auflösung beträgt nur 512 x 512 Pixel, aber wie immer bei solchen Forschungsarbeiten wird eine neue Methode erst prinzipiell demonstriert, bevor dann das Augenmerk auf höherwertige Resultate gelegt wird.



Interessanterweise wurde die InfiniteNature-Zero KI nicht mittels echter Flugaufnahmen, sondern nur anhand von einzelnen Photos von Landschaften (keine Photoserien) ohne weitere Daten wie Kameraposition oder -ausrichtung trainiert. Die vorherige Version benötigte zum Training noch von Drohnen gefilmte Videos.



Um die virtuellen Flugaufnahmen zu produzieren, mussten mehrere einzelne Probleme gelöst werden: so müssen Bildinformationen ergänzt werden, welche im ursprünglichen Anfangsbild nicht vorkommen, wie z.B. versteckte Bereiche auf einem Foto, welche bei einer Kamerafahrt dann aber sichtbar werden. Beispielsweise muss eine Stelle, die hinter Bäumen verborgen ist, generiert werden.





Dies geschieht durch "Inpainting", eine Methode, die auch bildgenerierende KIs wie Stable Diffusion bieten. Die KI produziert anhand des von ihr gelernten Bildmaterials einen wahrscheinlichen Bildinhalt für die vormals verdeckte Stelle.





Um den Effekt des Fliegens zu erzeugen, muss die KI auch Bildinhalte generieren, die sich außerhalb der Grenzen des Fotos an den Seiten befinden. Dies wird als "Outpainting" bezeichnet und auch hier muss die KI auf der Grundlage des Originalfotos passende, fehlende Bildinformationen per Deep Learning erzeugen. Da beim virtuellen Zoom in das Photo auch die Unschärfe zunimmt und Bildinhalte pixelig erschienen, wird das Bild zusätzlich noch per KI-Superresolution nachträglich geschärft.



Im folgenden Video von 2 Minute Papers wird auch gezeigt, wieviel besser die neue Methode ist im Vergleich zu älteren Versionen:







Ähnliche News //
Umfrage
  • Was hältst du von den neuen Bild/Video-KIs?





    Ergebnis ansehen
slashCAM nutzt Cookies zur Optimierung des Angebots, auch Cookies Dritter. Die Speicherung von Cookies kann in den Browsereinstellungen unterbunden werden. Mehr Informationen erhalten Sie in unserer Datenschutzerklärung. Mehr Infos Verstanden!
RSS Suche YouTube Facebook Twitter slashCAM-Slash