Vor kurzem noch war der Einsatz solcher großen Diffusionsmodelle wie Stable Diffusion auf einem Smartphone kaum denkbar, stellt doch ihre Größe mit über 1 Milliarde Parametern für die meisten Geräte aufgrund deren begrenzter Rechen- und Speicherressourcen eine zu große Herausforderung dar. In der Regel hängt die Komplexität und Leistungsfähigkeit eines KI-Modells sowie seine Rechenanforderungen von der Anzahl der Parameter ab, die es aus den Trainingsdaten lernen muss - je mehr davon vorhanden sind, desto komplexer wird das Modell.
Google war es aber möglich, durch eine ganze Reihe von Optimierungen solcher Diffusionsmodelle für mobile GPUs eine enorme Beschleunigung zu erreichen. So kann der neue GPU-optimierte Shader mehrere Zwischenschritte, die normalerweise für die Erzeugung von Bildern per Stable Diffusion erforderlich sind, in einem einzigen Schritt ausführen. Diese Optimierungen verringerten die zur Generierung eines Bildes benötigte Zeit auf einem Samsung S23 Ultra und einem iPhone 14 Pro um 52% respektive 33%, wobei die Speichernutzung ebenfalls erheblich reduziert wurde. So benötigte ein Samsung S23 Ultra als bisher schnellstes, getestetes Smartphone für ein 512 x 512-Bild mit 20 Iterationen mittels Stable Diffusion 1.4 ohne int8-Quantisierung weniger als 12 Sekunden.
Damit zeigt sich wieder die enorme Geschwindigkeit der aktuellen KI-Entwicklung: zu Beginn der Stable Diffusion Revolution im letzten Sommer war noch eine dedizierte Grafikkarte mit mindestens 8 GB VRAM die Voraussetzung, um auf dem eigenen Computer Bilder mittels der freien Text-zu-Bild-KI Szu generieren - zudem dauerte die Erzeugung selbst auf starken Grafikkarten noch ziemlich lange.
Im Gegensatz dazu laufen kommerziellen Bild-KIs wie Midjourney oder DALL-E2 auf dezidierten Servern mit spezialisierten GPUs. Die lokale Generierung von KI-Bildern auf einem PC oder Smartphone hat jedoch demgegenüber mehrere Vorteile, wie etwa geringere Serverkosten, Offline-Funktionalität sowie einen verbesserten Datenschutz für die User (die Bilder werden auf dem eigenen Gerät erzeugt und bleiben auch dort). Es wird vermutlich nicht lange dauern bis die google-Optimierungen sich in beschleunigten Stable Diffusion Apps niederschlagen.
mehr Informationen
Kommentare lesen / schreiben
Passende News:
- Generative KI: Googles StyleDrop lernt und imitiert Stil nach einem einzigen Bild
- AMDs neue Adrenalin Treiber 23.5.1 verdoppeln Rechenleistung in Stable Diffusion
- Aktuelle Sparangebote für Kameras und Objektive von Panasonic, OM, Fujifilm und Tamron
- Roll - virtuelles KI-Ministudio für Interviews (iPhone und Web)
- Nodebasiertes Editing für After Effects - Hollywood Illusion Magic Nodes 1.5
- NIKKOR Z DX 24 mm f/1,7 - erste APS-C Festbrennweite für Nikon Z-Mount für 319,- Euro
- Microsoft Olive: Neues kostenloses Tool verdoppelt Performance von Stable Diffusion
- Final Cut Pro für iPad und Final Cut Pro Update 10.6.6 ab sofort verfügbar
- Adobe Generative Fill - KI-Bildergänzung in Photoshop, einfach für jedermann!
- Diffusae - Stable Diffusion als KI-Plugin für Adobe After Effects
- Stable Diffusion verjüngt Harrison Ford
- Apple M3-Macs erst zum Jahreswechsel für neue MacBooks und iMacs