Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürzlich schon der Clip einer virtuellen dynamischen Modeschau gezeigt.
Der Filmemacher und Musiker Scott Lighthiser hat nun in den folgenden Clips drei andere kostenlose KI Apps für einfach gemachte, aber ziemlich spektakuläre Spezialeffekte kombiniert: den KI Bildgenerator Stable Diffusion, das Style-Transfer Tool Ebsynth und den KI Stimmentransformator Koe Recast.
Die verwendeten KI-Tools
Grundlage war jeweils ein kurzes Video von ihm selbst, das auf 1.024 x 1.024 Pixel skaliert wurde (da die Tools noch nicht mit höheren Auflösungen umgehen können). Mit Hilfe von Stable Diffusion per Google Colab und dessen img2img-Funktion, mit dem sich ein Bild gezielt per KI ändern läßt, erzeugte Lighthiser dann unterschiedliche aber passgenaue Variationen des Sprechers - eine weibliche griechische Marmorstatue, einen alten Mann sowie einen blutigen Zombie. Diese drei Bilder wurden dann per KI auf 1.024 x 1.024 Pixel hochskaliert und jeweils in Ebsynth als Stilvorlage genutzt, welche danach auf das ganze Video angewendet wurde. Um schließlich auch noch seine Stimme passend zu verändern, nutzte Lighthiser die KI-gestützte App Koe Recast, welche eine Sprachaufnahme in eine beliebige andere Stimme transformiert.
Noch krasser ist seine folgende Horror-Animation, die nicht nur das Gesicht, sondern seinen ganzen Körper in den eines Untoten verwandelt (das Prompt dafür war übrigens "The dry creature, film still from the movie directed by Denis Villeneuve and David Cronenberg with art direction by H. R. Giger and Bernie Wrightson"):
Das Horror-Motiv eignet sich für diese Demos besonders, weil beim Stiltransfer mit Ebsynth gelegentlich entstehende dynamische Artefakte, die ansonsten stören würden, hier den Schockeffekt eher verstärken.
Klassische VFX wären arbeitsintensiver
Der klassische Workflow wäre um einiges komplizierter gewesen: erst müsste das Gesicht des Sprechers per Gesichtscapturing als 3D-Modell eingelesen werden, dann mit Hilfe eines 3D-Modellingprogramms ein 3D-Modell des neuen Gesichts erstellt werden, welches dann wiederum auf das Originalgesicht gemappt und gerendert wird. Das alles erfordert neben den richtigen Tools auch viel Spezialwissen. Dazu käme dann noch ein zum jeweiligen Charakter passender Sprecher, der den Text synchron zur jeweiligen Lippenbewegung spricht.
Im Gegensatz dazu entstanden Dank des "simplen" KI-Workflows und relativ einfach zu bedienender Tools in kurzer Zeit stark unterschiedliche, verfremdete Versionen des jeweiligen Originalvideos. Ein kleiner Vorgeschmack auf die umfassenden Möglichkeiten der sich gerade explosiv entwickelnden KI Tools im Bereich Bild - und auch Video.
Die KI plus VFX Zukunft
Die Videos sind als kleine Demonstration zu verstehen und geben eine Vorstellung davon, welche Effekte durch die Kombination mehrerer KI Tools schon jetzt erzeugt werden können - bevor es überhaupt auf Video spezialisierte KIs gibt, die auf Wunsch ganze Videos nur per Textbeschreibung frei erzeugen oder editieren können, so wie Stable Diffusion oder DALL-E2 es jetzt schon mit Bildern machen.
Wenn solche Tools in Zukunft verfügbar sind und die Auflösung und Bildqualität noch weiter verbessert werden, dann wird - nach der bis jetzt vor allem durch Hardware angetriebenen Revolution des Filmemachens - durch die Hilfe von KI-Tools die nächste Stufe gezündet werden: professionelle und trotzdem einfach zu erstellende Spezialeffekte (und auch Animationen) werden einer breiten Masse an Anwendern zugänglich sein.
