Es komprimiert, optimiert und kompiliert vorhandene KI-Modelle und passt diese an die vorhandene Hardware an. Notwendig sind für die maximale Performance jedoch angepasste Treiber für die jeweilige GPU, damit diese optimal genutzt werden kann. Glücklicherweise hat NVIDIA heute entsprechende neue Game Ready Treiber Version 532.03 veröffentlicht, welche genau das machen.
Wieviel bringen die Optimierungen?
Laut Aussagen des zuständigen NVIDIA Produktmanagers sollen die neuen Treiber die Performance der Bild-KI Stable Diffusion deutlich steigern. So wird die Leistung einer solchen optimierten Version von Stable Diffusion in der beliebten Automatic1111-Distribution mit dem neuen Treiber um mehr als das Doppelte verbessert, d.h. sie braucht weniger als halb so viel Zeit wie bisher.
Notwendig ist für diesen Leistungssprung eine per Olive optimierte spezielle Version von Stable Diffusion, welche sich aber mit etwas Fachwissen selbst kompilieren läßt. Es werden aber vermutlich dank der freien Verfügbarkeit von Olive, welches unter der MIT-Lizenz veröffentlicht wurde, auch sehr bald schon von Usern fertig optimierte Versionen von Stable Diffusion erscheinen für nicht so versierte User. Momentan nur experimentell ist die Unterstützung vom Feintuning von Stable Diffusion mittels LoRA.
Wer kann Olive nutzen?
Die neue Game Ready Treiber sind zwar sowohl für die aktuelle GPU-Generation als auch sehr alte NVIDIA Grafikkartenserien - angefangen mit der GeForce GTX 700 - verfügbar, laut Microsoft profitieren aber nur die neueren RTX 30 und RTX 40 Serien von Olive DirectML Optimierungen durch die Nutzung der Tensor-Cores. Abgesehen davon gelten natürlich die Beschränkungen von Stable Diffusion bezüglich der für die unterschiedlichen Modelle notwendigen Größe des Grafikkartenspeichers.
Besitzer von AMDs Grafikkarten gehen aber nicht leer aus - sie müssen sich nur etwas länger gedulden. So will AMD im nächsten Monat optimierte Grafiktreiber für AMD RDNA 3 GPUs wie etwa die Grafikkarten der AMD Radeon RX 7900 Serie und die mobilen AMD Ryzen 7040 GPUs veröffentlichen.
Wie funktioniert Olive?
Stable Diffusion ist ein komplexes Machine Learning Modell, das mehrere kleinere Modelle umfasst. Diese Modelle wurden ursprünglich im beliebten PyTorch Machine Learning Framework entwickelt. Microsofts Olive konvertiert diese PyTorch-Modelle in ein anderes Format namens ONNX und führt dann mehrere komplexe Optimierungsschritte aus, welche die Modelle effizienter machen, wenn sie später ausgeführt werden. Diese können auch für spezielle Hardware wie etwa NVIDIAs Tensor Cores optimiert werden, welche dann auf dem PC oder in der Cloud ausgeführt werden können und nochmals deutliche Geschwindigkeitssteigerungen bringen.
Hier unsere Tipps und Tricks für Stable Diffusion: Einrichtung und Einstieg.
mehr Informationen
Kommentare lesen/schreiben
Passende News:
- Neue Tutorial Clips von Blackmagic Design: Erste Schritte mit der Camera App und Filesync mit BM Cloud
- Ridley Scotts Napoleon: Die Cinematographie von DOP Dariusz Wolski
- Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung vorgestellt
- Quad Pixel AF und Mini-R5C (S35) mit IBIS? Spannende, neue Patente von Canon
- Blender 4.0 ist da - kostenloses 3D-Softwarepaket mit zahlreichen Neuerungen
- 216 Zoll HD-Riesen-Display von Viewsonic - LDP 216-251
- Mehr Infos von Sigma zum kommenden 70-200mm F2.8 DG DN OS Sports Zoom
- Vergiftete Bilddaten als Kopierschutz - neues Tool soll KI-Training sabotieren
- Von Taxi Driver bis Silence - Martin Scorsese kommentiert seine Kultfilme
- Aktive EF Focal Reducer/Speedbooster von Meike für Sony E, Nikon Z und Canon RF
- Panasonic kündigt neues Firmware-Updates für LUMIX S5II- und S5IIX an
- Schlägt Meta Stable Diffusion XL mit Ästhetik? Emu trainiert "vom Feinsten"