Unter dem Namen Diffusae entwickelt ein kleines kanadisches Team namens BSKL ein Plugin, welches innerhalb von After Effects direkten Zugriff auf generative Stable Diffusion Modelle erlauben soll.
Die Bedienung ist aktuell noch ziemlich rudimentär, denn Stable Diffusion steht "nur" als eingebundener Ebenen-Effekt zur Verfügung. Dort lässt sich der Prompt durch einen unsichtbaren weiteren Text-Layer injizieren.
Weiters lässt sich das genutzte Modell, die Guidance und Stärke des Prompts sowie die Qualität und der Seed einstellen. Somit hat man weitaus weniger Möglichkeiten, als bei der Nutzung von Stable Diffusion mit einer WebUI.
Dafür soll die nicht immer triviale Installation automatisiert sein und das Update auf aktuelle Modelle wie Stable Diffusion 2.1 kann ebenfalls ohne Zutun des Anwenders erfolgen.
Größter Vorteil ist jedoch sicherlich die direkte Anwendung in Bildsequenzen sowie die Unterstützung von Masken - wodurch sich Stable Diffusion bequem in einzelnen Bildausschnitten nutzen lässt, ohne die GPU mit zu hohen Auflösungen zu überfordern.
Das große Fragezeichen bleibt jedoch die zeitliche Kohärenz. Aktuell fallen nämlich die zufälligen Veränderungen zwischen den Einzelbildern prinzipbedingt relativ groß aus, was regelmäßig für einen sehr psychedelische Anmutung der Effekte sorgt. Hier erhoffen sich die Macher in Zukunft deutliche Verbesserungen durch weitere Forschung in der großen Stable Diffusion Community.
Aktuell funktioniert Diffusae nur unter Windows mit einer Nvidia Karte. Eine macOS Version für Apple Silicon Modelle soll jedoch laut Roadmap noch dieser Tage (Juni 2023) erscheinen.
Aktuell kostet das After Effects Plugin bei aescripts 49 Dollar, jedoch kann man sich für einen kostenlosen Beta Test registrieren, was wohl für interessierte Anwender der beste Weg sein dürfte, das Programm intensiver auszuprobieren. Zusätzlichen Kontakt zu den Entwicklern bekommt man auf diesem Wege über einen Discord-Server.
