Forscher von Google haben Stable Diffusion 1.4 so weit optimiert, dass die Erzeugung eines 512x512 Bildes auf einem modernen Smartphone wie dem Samsung S23 Ultra in weniger als 12 Sekunden klappt. Qualcomm hatte zwar schon im Februar eine Methode entwickelt, die nur 15 Sekunden brauchte, aber diese war beschränkt auf mit dem aktuellen Snapdragon 8 ausgerüstete Android-Smartphones. Im Vergleich dazu kann Googles neues Verfahren universell genutzt werden, und zwar sowohl für andere Diffusionsmodelle als auch unterschiedliche Hardware-Konfigurationen. Somit können KI-Bilder bald auf einer Vielzahl von mobilen Geräten in annehmbar kurzen Zeitspannen erzeugt werden.
Vor kurzem noch war der Einsatz solcher großen Diffusionsmodelle wie Stable Diffusion auf einem Smartphone kaum denkbar, stellt doch ihre Größe mit über 1 Milliarde Parametern für die meisten Geräte aufgrund deren begrenzter Rechen- und Speicherressourcen eine zu große Herausforderung dar. In der Regel hängt die Komplexität und Leistungsfähigkeit eines KI-Modells sowie seine Rechenanforderungen von der Anzahl der Parameter ab, die es aus den Trainingsdaten lernen muss - je mehr davon vorhanden sind, desto komplexer wird das Modell.
Google war es aber möglich, durch eine ganze Reihe von Optimierungen solcher Diffusionsmodelle für mobile GPUs eine enorme Beschleunigung zu erreichen. So kann der neue GPU-optimierte Shader mehrere Zwischenschritte, die normalerweise für die Erzeugung von Bildern per Stable Diffusion erforderlich sind, in einem einzigen Schritt ausführen. Diese Optimierungen verringerten die zur Generierung eines Bildes benötigte Zeit auf einem Samsung S23 Ultra und einem iPhone 14 Pro um 52% respektive 33%, wobei die Speichernutzung ebenfalls erheblich reduziert wurde. So benötigte ein Samsung S23 Ultra als bisher schnellstes, getestetes Smartphone für ein 512 x 512-Bild mit 20 Iterationen mittels Stable Diffusion 1.4 ohne int8-Quantisierung weniger als 12 Sekunden.
Damit zeigt sich wieder die enorme Geschwindigkeit der aktuellen KI-Entwicklung: zu Beginn der Stable Diffusion Revolution im letzten Sommer war noch eine dedizierte Grafikkarte mit mindestens 8 GB VRAM die Voraussetzung, um auf dem eigenen Computer Bilder mittels der freien Text-zu-Bild-KI Szu generieren - zudem dauerte die Erzeugung selbst auf starken Grafikkarten noch ziemlich lange.
Im Gegensatz dazu laufen kommerziellen Bild-KIs wie Midjourney oder DALL-E2 auf dezidierten Servern mit spezialisierten GPUs. Die lokale Generierung von KI-Bildern auf einem PC oder Smartphone hat jedoch demgegenüber mehrere Vorteile, wie etwa geringere Serverkosten, Offline-Funktionalität sowie einen verbesserten Datenschutz für die User (die Bilder werden auf dem eigenen Gerät erzeugt und bleiben auch dort). Es wird vermutlich nicht lange dauern bis die google-Optimierungen sich in beschleunigten Stable Diffusion Apps niederschlagen.
