Microsoft hat ein neues, freies Tool namens Olive vorgestellt, welches vielen KI-Modellen wie zum Beispiel Stable Diffusion ermöglicht, automatisch die Hardwarebeschleunigung von Grafikkarten wie zum Beispiel NVIDIAs RTX Tensor Cores zu nutzen. Olive (ONNX Live) ist ein hochentwickeltes Modelloptimierungstool, das sich nahtlos in DirectML integrieren lässt, um die Hardwarebeschleunigung in Windows zu ermöglichen.
Es komprimiert, optimiert und kompiliert vorhandene KI-Modelle und passt diese an die vorhandene Hardware an. Notwendig sind für die maximale Performance jedoch angepasste Treiber für die jeweilige GPU, damit diese optimal genutzt werden kann. Glücklicherweise hat NVIDIA heute entsprechende neue Game Ready Treiber Version 532.03 veröffentlicht, welche genau das machen.
Wieviel bringen die Optimierungen?
Laut Aussagen des zuständigen NVIDIA Produktmanagers sollen die neuen Treiber die Performance der Bild-KI Stable Diffusion deutlich steigern. So wird die Leistung einer solchen optimierten Version von Stable Diffusion in der beliebten Automatic1111-Distribution mit dem neuen Treiber um mehr als das Doppelte verbessert, d.h. sie braucht weniger als halb so viel Zeit wie bisher.
Notwendig ist für diesen Leistungssprung eine per Olive optimierte spezielle Version von Stable Diffusion, welche sich aber mit etwas Fachwissen selbst kompilieren läßt. Es werden aber vermutlich dank der freien Verfügbarkeit von Olive, welches unter der MIT-Lizenz veröffentlicht wurde, auch sehr bald schon von Usern fertig optimierte Versionen von Stable Diffusion erscheinen für nicht so versierte User. Momentan nur experimentell ist die Unterstützung vom Feintuning von Stable Diffusion mittels LoRA.
Wer kann Olive nutzen?
Die neue Game Ready Treiber sind zwar sowohl für die aktuelle GPU-Generation als auch sehr alte NVIDIA Grafikkartenserien - angefangen mit der GeForce GTX 700 - verfügbar, laut Microsoft profitieren aber nur die neueren RTX 30 und RTX 40 Serien von Olive DirectML Optimierungen durch die Nutzung der Tensor-Cores. Abgesehen davon gelten natürlich die Beschränkungen von Stable Diffusion bezüglich der für die unterschiedlichen Modelle notwendigen Größe des Grafikkartenspeichers.
Besitzer von AMDs Grafikkarten gehen aber nicht leer aus - sie müssen sich nur etwas länger gedulden. So will AMD im nächsten Monat optimierte Grafiktreiber für AMD RDNA 3 GPUs wie etwa die Grafikkarten der AMD Radeon RX 7900 Serie und die mobilen AMD Ryzen 7040 GPUs veröffentlichen.
Wie funktioniert Olive?
Stable Diffusion ist ein komplexes Machine Learning Modell, das mehrere kleinere Modelle umfasst. Diese Modelle wurden ursprünglich im beliebten PyTorch Machine Learning Framework entwickelt. Microsofts Olive konvertiert diese PyTorch-Modelle in ein anderes Format namens ONNX und führt dann mehrere komplexe Optimierungsschritte aus, welche die Modelle effizienter machen, wenn sie später ausgeführt werden. Diese können auch für spezielle Hardware wie etwa NVIDIAs Tensor Cores optimiert werden, welche dann auf dem PC oder in der Cloud ausgeführt werden können und nochmals deutliche Geschwindigkeitssteigerungen bringen.
Hier unsere Tipps und Tricks für Stable Diffusion: Einrichtung und Einstieg.
