Ein Forscherteam von Google hat einen neuen DeepLearning Super-Resolution Algorithmus vorgestellt, der alle bisher entwickelten Methoden in den Schatten stellt. Die SR3 (Super-Resolution via Repeated Refinement) getaufte Methode demonstriert besonders in Beispielen hochskalierter Gesichter ihre Stärke: so werden Photos von Gesichtern mit einer Auflösung von nur 64 x 64 Pixeln in zwei Schritten erst nach 256 x 256 Pixeln, dann nach 1.024 x 1.024 Pixeln hochgerechnet, was einer 16-fachen Vergrößerung entspricht. In einem anderen Experiment werden Bilder von Objekten wie etwa Blumen, Feuerwehrautos, Vögeln oder Bauwerken von 64 x 64 nach 256 x 256 Pixeln hochskaliert.
Die hohe Qualität der hochskalierten Bilder zeigte sich im Bildvergleichsexperiment: Probanden sollten entscheiden, ob das hochaufgelöste Orginalbild oder das erst in der Auflösung verminderte und dann per SR3 wieder hochgerechnete Bild besser aussieht - bei einer 8-fachen Hochskalierung von 8 x 8 nach 128 x 128 Pixeln wählte rund die Hälfte das hochskalierte Gesicht.
Das entspricht genau der Zufallsverteilung und bedeutet, dass nicht mehr unterschieden werden kann zwischen dem Original und der per Super Resolution erzeugten Version. Bei der viel schwierigen Aufgabe der 4-fachen Hochskalierung eines 64 x 64 Photos eines natürlichen Gegenstandes auf 256 x 256 zogen immerhin noch 40% der Versuchsteilnehmer das generierte Bild dem Original vor.
Wie funktioniert Super Resolution überhaupt?
Galt bis zum letzten Jahrzehnt noch das Dogma, dass bei einer Vergrößerung der Auflösung kein Detail hinzukommen kann, was nicht im Ursprungsbild liegt, befinden wir uns seit einigen Jahren in einem Paradigmen-Wechsel. Das Schlagwort heißt Super-Resolution. Unter Super-Resolution versteht man Technologien, die in der Nachbearbeitung einem Bild mehr Details hinzufügen, als ursprünglich in digitaler Form vorliegen.
Einfach gesagt sind es Verfahren, welche die Auflösung eines Bildes erhöhen und dabei für das "Mehr an Pixeln" nicht nur Interpolation zwischen bekannten Pixeln betreiben. Eine Superresolution (SR)-Applikation muss also Details schlüssig hinzuerfinden.
Mit dem Aufkommen von Deep Learning hat Super-Resolution einen wahren Boost erfahren, da KI-Algorithmen sehr gut darin sind, Objekte zu erkennen und zu ergänzen. Wenn eine Künstliche Intelligenz beispielsweise Millionen von Gesichtern aus verschiedenen Blickwinkeln und in diversen Beleuchtungssituationen gesehen hat, kann sie anschließend jedem grob nur aufgelösten Gesicht in einem Bild gelernte passende Details hinzufügen. Das gilt jedoch genauso für Pflanzen, Autos oder Tiere.
Beim Hochskalieren machen sich neuronale Netze die typischen Muster natürlicher Objekte zunutze - d.h. Strukturen in den Bildern mit niedriger Auflösung werden beim Hochskalieren sinnvoll rekonstruiert. Mehr zum Thema in unserem Artikel Mehr Bildschärfe durch künstliche Intelligenz - Super-Resolution.
Adobe hat einen solchen Super-Resolution Algorithmus schon in Photoshop integriert und das kostenpflichtige Tool Video Enhance AI sowie TecoGAN machen ähnliches für Videos.
Der neue SR3 Algorithmus ( hier die entsprechende Forschungsarbeit) wendet dabei einen besonderen Trick an und skaliert die Bilder in mehreren Durchgängen hoch, was zu besseren Ergebnissen führt als die Interpolation vom Basisbild zur hochaufgelösten Version. Oder genauer gesagt in den Worten der Forscher: "SR3 adaptiert entrauschende Diffusions-probabilistische Modelle an die bedingte Bildgenerierung und führt die Super-Resolution durch einen stochastischen iterativen Entrauschungsprozess durch."
Ein großer Caveat besteht allerdings bei solchen Deep Learning Methoden zur Super Resolution: die Ergebnisse sehen immer echter aus, was aber nicht bedeutet, dass die hochgerechneten Bilder dem Originalbild perfekt entsprechen, sondern nur, dass sie fotorealistisch gut geraten und gerendert sind - der Betrachter kann nicht mehr entscheiden, ob so ein Bild "echt" ist oder generiert wurde.
