Vor kurzem noch war der Einsatz solcher großen Diffusionsmodelle wie Stable Diffusion auf einem Smartphone kaum denkbar, stellt doch ihre Größe mit über 1 Milliarde Parametern für die meisten Geräte aufgrund deren begrenzter Rechen- und Speicherressourcen eine zu große Herausforderung dar. In der Regel hängt die Komplexität und Leistungsfähigkeit eines KI-Modells sowie seine Rechenanforderungen von der Anzahl der Parameter ab, die es aus den Trainingsdaten lernen muss - je mehr davon vorhanden sind, desto komplexer wird das Modell.
Google war es aber möglich, durch eine ganze Reihe von Optimierungen solcher Diffusionsmodelle für mobile GPUs eine enorme Beschleunigung zu erreichen. So kann der neue GPU-optimierte Shader mehrere Zwischenschritte, die normalerweise für die Erzeugung von Bildern per Stable Diffusion erforderlich sind, in einem einzigen Schritt ausführen. Diese Optimierungen verringerten die zur Generierung eines Bildes benötigte Zeit auf einem Samsung S23 Ultra und einem iPhone 14 Pro um 52% respektive 33%, wobei die Speichernutzung ebenfalls erheblich reduziert wurde. So benötigte ein Samsung S23 Ultra als bisher schnellstes, getestetes Smartphone für ein 512 x 512-Bild mit 20 Iterationen mittels Stable Diffusion 1.4 ohne int8-Quantisierung weniger als 12 Sekunden.
Damit zeigt sich wieder die enorme Geschwindigkeit der aktuellen KI-Entwicklung: zu Beginn der Stable Diffusion Revolution im letzten Sommer war noch eine dedizierte Grafikkarte mit mindestens 8 GB VRAM die Voraussetzung, um auf dem eigenen Computer Bilder mittels der freien Text-zu-Bild-KI Szu generieren - zudem dauerte die Erzeugung selbst auf starken Grafikkarten noch ziemlich lange.
Im Gegensatz dazu laufen kommerziellen Bild-KIs wie Midjourney oder DALL-E2 auf dezidierten Servern mit spezialisierten GPUs. Die lokale Generierung von KI-Bildern auf einem PC oder Smartphone hat jedoch demgegenüber mehrere Vorteile, wie etwa geringere Serverkosten, Offline-Funktionalität sowie einen verbesserten Datenschutz für die User (die Bilder werden auf dem eigenen Gerät erzeugt und bleiben auch dort). Es wird vermutlich nicht lange dauern bis die google-Optimierungen sich in beschleunigten Stable Diffusion Apps niederschlagen.
mehr Informationen
Kommentare lesen/schreiben
Passende News:
- Größere Final Cut Pro Updates für iOS und MacOS verfügbar: Autom. Timelinescrolling, Voice-Over uvm.
- SmallRig und Mikevisuals stellen Tracking POV-Kit für 119,- Dollar vor
- Sony und Associated Press vs Bild-Manipulation: Digitale-Signatur demnächst in Sony-Kameras
- Benutzerdefinierte Gitternetzlinien in Sony Alpha-Kameras - für 149 Dollar!
- DIVEVOLK SeaTouch 4 Max - Touch-fähiges Unterwassergehäuse für iPhones
- Viltrox stellt PL-L Mount Adapter für 178,- Dollar vor
- Kodak stellt Super 8 Filmkamera mit Digitaltechnik und C-Mount für 5.495,- Dollar vor
- Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung vorgestellt
- Und noch mehr Black Friday 2023 für Foto+Video – Teil 3 mit Canon, Panasonic, Tilta, Rotolight, Aputure etc.
- Werden die Oscars 2024 ein analoges Filmfest?
- Noch mehr Black Friday-Deals 2023 für Foto+Video – Teil 2 mit Sony, Smallrig, MSI, WD, TopazAI u.a.
- Sigma stellt 70-200mm F2,8 DG DN OS Sports für E- und L-Mount offiziell vor