Two Minute Papers hat ein weiteres mal eine wichtige aktuelle KI-Entwicklung auf visuell ansprechende Weise für jedermann zusammengefasst. Dieses mal geht es um semantische Interpolation bei der Bilderzeugung, oder im englischen Original: Semantic Interpolation.
Im Gegensatz zum klassischen Morphing besitzt eine trainierte KI (optimalerweise) ein erweitertes Verständnis von der eingegebenen Szene. Wenn sie erkennt, dass es sich um ein Gesicht oder Gebäude handelt, kann sie dadurch auch darauf schließen, dass sich auf der Kamera-abgewandten Seite eines Gesichts wahrscheinlich ein weiteres Ohr befindet. Oder dass hinter einem geschlossenen Mund auch Zunge und Zähne sichtbar werden, wenn sich der Mund öffnet.
Bei der Semantic Interpolation geht es nun eben darum, Bilder nicht nur mit einer aktuellen KI-Architektur relativ willkürlich zu erzeugen (wie bei Gesichtern z.B. mit einfachen GANs / Generative Adversarial Networks). Sondern die Erzeugung der Bilder kann konkreter gesteuert werden. Typischerweise gelingt dies durch die Änderung von Vektoren im sog. Latent Space, jedoch kann wie in einem im Video gezeigten speziellen Fall auch ein weiteres Bild als Style-Input für Eigenschaften genutzt werden.
Man darf sich dies so vorstellen, dass das erste Bild ein "grundsätzliches" Gesicht als Basis stellt und das zweite Bild die Eigenschaften wie Hautfarbe, Brille, Mundöffnung und/oder Kopfdrehung "beiträgt". Das zweite Bild beschreibt also die "semantischen Eigenschaften", bzw. deren gewollten Zustand.
Die Semantic Interpolation geht nun noch eine Schritt weiter und erlaubt - sofern die semantischen Eigenschaften korrekt im Latent Space trainiert wurden - zwischen semantischen Eigenschaften zu wechseln. Also Kopfdrehungen oder Mundöffnung gezielt zu verändern. Oder Brillen hinzuzufügen. Oder Gesichter altern zu lassen oder diese zu verjüngen (De-Aging).
Und hat eine KI einmal gelernt, welche Eigenschaften ein Objekt in welcher Weise verändern, so sind damit deutlich verbesserte Morphings möglich, bei denen nahezu jedes Zwischenbild ein passables Ergebnis darstellt. Auch wenn sich Ausgangs- und Endbild sehr stark unterscheiden.
