News: Google optimiert Stable Diffusion für Smartphones: Ein Bild in nur 12 Sekunden

Auf dem Smartphone per Stable Diffusion erzeugte Bilder

Vor kurzem noch war der Einsatz solcher großen Diffusionsmodelle wie Stable Diffusion auf einem Smartphone kaum denkbar, stellt doch ihre Größe mit über 1 Milliarde Parametern für die meisten Geräte aufgrund deren begrenzter Rechen- und Speicherressourcen eine zu große Herausforderung dar. In der Regel hängt die Komplexität und Leistungsfähigkeit eines KI-Modells sowie seine Rechenanforderungen von der Anzahl der Parameter ab, die es aus den Trainingsdaten lernen muss - je mehr davon vorhanden sind, desto komplexer wird das Modell.

Google war es aber möglich, durch eine ganze Reihe von Optimierungen solcher Diffusionsmodelle für mobile GPUs eine enorme Beschleunigung zu erreichen. So kann der neue GPU-optimierte Shader mehrere Zwischenschritte, die normalerweise für die Erzeugung von Bildern per Stable Diffusion erforderlich sind, in einem einzigen Schritt ausführen. Diese Optimierungen verringerten die zur Generierung eines Bildes benötigte Zeit auf einem Samsung S23 Ultra und einem iPhone 14 Pro um 52% respektive 33%, wobei die Speichernutzung ebenfalls erheblich reduziert wurde. So benötigte ein Samsung S23 Ultra als bisher schnellstes, getestetes Smartphone für ein 512 x 512-Bild mit 20 Iterationen mittels Stable Diffusion 1.4 ohne int8-Quantisierung weniger als 12 Sekunden.

Auf dem Smartphone per Stable Diffusion erzeugte Bilder

Damit zeigt sich wieder die enorme Geschwindigkeit der aktuellen KI-Entwicklung: zu Beginn der Stable Diffusion Revolution im letzten Sommer war noch eine dedizierte Grafikkarte mit mindestens 8 GB VRAM die Voraussetzung, um auf dem eigenen Computer Bilder mittels der freien Text-zu-Bild-KI Szu generieren - zudem dauerte die Erzeugung selbst auf starken Grafikkarten noch ziemlich lange.

Im Gegensatz dazu laufen kommerziellen Bild-KIs wie Midjourney oder DALL-E2 auf dezidierten Servern mit spezialisierten GPUs. Die lokale Generierung von KI-Bildern auf einem PC oder Smartphone hat jedoch demgegenüber mehrere Vorteile, wie etwa geringere Serverkosten, Offline-Funktionalität sowie einen verbesserten Datenschutz für die User (die Bilder werden auf dem eigenen Gerät erzeugt und bleiben auch dort). Es wird vermutlich nicht lange dauern bis die google-Optimierungen sich in beschleunigten Stable Diffusion Apps niederschlagen.