News: VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren

22.9.2022 - 11:28 Uhr

Wie einfach und doch wirkungsvoll inzwischen verschiedene KI-Tools im Zusammenspiel eingesetzt werden können, um interessante Effekte in Videos zu realisieren, hatte kürzlich schon der Clip einer virtuellen dynamischen Modeschau gezeigt.

!

Der Filmemacher und Musiker Scott Lighthiser hat nun in den folgenden Clips drei andere kostenlose KI Apps für einfach gemachte, aber ziemlich spektakuläre Spezialeffekte kombiniert: den KI Bildgenerator Stable Diffusion, das Style-Transfer Tool Ebsynth und den KI Stimmentransformator Koe Recast.

Die verwendeten KI-Tools

Grundlage war jeweils ein kurzes Video von ihm selbst, das auf 1.024 x 1.024 Pixel skaliert wurde (da die Tools noch nicht mit höheren Auflösungen umgehen können). Mit Hilfe von Stable Diffusion per Google Colab und dessen img2img-Funktion, mit dem sich ein Bild gezielt per KI ändern läßt, erzeugte Lighthiser dann unterschiedliche aber passgenaue Variationen des Sprechers - eine weibliche griechische Marmorstatue, einen alten Mann sowie einen blutigen Zombie. Diese drei Bilder wurden dann per KI auf 1.024 x 1.024 Pixel hochskaliert und jeweils in Ebsynth als Stilvorlage genutzt, welche danach auf das ganze Video angewendet wurde. Um schließlich auch noch seine Stimme passend zu verändern, nutzte Lighthiser die KI-gestützte App Koe Recast, welche eine Sprachaufnahme in eine beliebige andere Stimme transformiert.

!

Noch krasser ist seine folgende Horror-Animation, die nicht nur das Gesicht, sondern seinen ganzen Körper in den eines Untoten verwandelt (das Prompt dafür war übrigens "The dry creature, film still from the movie directed by Denis Villeneuve and David Cronenberg with art direction by H. R. Giger and Bernie Wrightson"):

Das Horror-Motiv eignet sich für diese Demos besonders, weil beim Stiltransfer mit Ebsynth gelegentlich entstehende dynamische Artefakte, die ansonsten stören würden, hier den Schockeffekt eher verstärken.

Klassische VFX wären arbeitsintensiver

Der klassische Workflow wäre um einiges komplizierter gewesen: erst müsste das Gesicht des Sprechers per Gesichtscapturing als 3D-Modell eingelesen werden, dann mit Hilfe eines 3D-Modellingprogramms ein 3D-Modell des neuen Gesichts erstellt werden, welches dann wiederum auf das Originalgesicht gemappt und gerendert wird. Das alles erfordert neben den richtigen Tools auch viel Spezialwissen. Dazu käme dann noch ein zum jeweiligen Charakter passender Sprecher, der den Text synchron zur jeweiligen Lippenbewegung spricht.

!

Im Gegensatz dazu entstanden Dank des "simplen" KI-Workflows und relativ einfach zu bedienender Tools in kurzer Zeit stark unterschiedliche, verfremdete Versionen des jeweiligen Originalvideos. Ein kleiner Vorgeschmack auf die umfassenden Möglichkeiten der sich gerade explosiv entwickelnden KI Tools im Bereich Bild - und auch Video.

Die KI plus VFX Zukunft

Die Videos sind als kleine Demonstration zu verstehen und geben eine Vorstellung davon, welche Effekte durch die Kombination mehrerer KI Tools schon jetzt erzeugt werden können - bevor es überhaupt auf Video spezialisierte KIs gibt, die auf Wunsch ganze Videos nur per Textbeschreibung frei erzeugen oder editieren können, so wie Stable Diffusion oder DALL-E2 es jetzt schon mit Bildern machen.

VFX-Makeup per KI=:

Wenn solche Tools in Zukunft verfügbar sind und die Auflösung und Bildqualität noch weiter verbessert werden, dann wird - nach der bis jetzt vor allem durch Hardware angetriebenen Revolution des Filmemachens - durch die Hilfe von KI-Tools die nächste Stufe gezündet werden: professionelle und trotzdem einfach zu erstellende Spezialeffekte (und auch Animationen werden einer breiten Masse an Anwendern zugänglich sein.

(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

29.September 2022 - 17:43 Uhr
DJI Transmission: Profi-Funkstrecke für Monitoring und Kamera-/Gimbalsteuerung

29.September 2022 - 14:46 Uhr
Neue Intel Raptor Lake CPUs kommen mit bis zu 34 Kernen und 6 GHz

28.September 2022 - 16:21 Uhr
Sony stellt FX30 vor - Cinema Line goes Super35

28.September 2022 - 15:01 Uhr
DJI: Zwei neue Mavic 3 Enterprise Modelle: 56x Hybridzoom und bis zu drei Kameras



weitere News: