News: Wonder Studio: Virtuelle Figuren einfach und billig per KI in Filme integrieren

In die Szene integrierte CG-Figur

Dieser virtuelle Charakter ersetzt dann nahtlos den Schauspieler, ahmt sowohl seine Bewegungen als auch seine Mimik nach und wird passend zur Szene auch richtig beleuchtet und an den Filmlook angepasst. Das Ganze funktioniert sogar nicht nur für statische, sondern auch für dynamische Kameraeinstellungen samt sich ändernder Beleuchtung. Dazu sind im Gegensatz zu anderen Lösungen keine besonderen Tiefeninformationen, zwei Kameras (wie zum Beispiel bei Move.ai) oder Marker notwendig - zum Motion Capturing reicht die Aufnahme einer einzigen normalen Kamera aus, den Rest erledigt die KI.

Auswahl der CG-Figur

Wonder Studio kann nicht nur mit einzelnen Einstellungen, sondern auch mit ganzen Filmsequenzen arbeiten. Es erkennt automatisch Schnitte und verfolgt jeden Schauspieler durch die ganze Szene hinweg über alle unterschiedlichen Einstellungen und ersetzt ihn durch das gewählte CG-Model. Es können auch mehrere Schauspieler durch verschiedene CG-Charaktere ersetzt werden. Einige fertige Modelle sind schon als Vorgaben in Wonder Studio enthalten und können ohne weitere Kosten genutzt werden, es können aber auch beliebige eigene CG-Figuren importiert werden.

Wonder Studio automatisiert so eine ganze Reihe normalerweise sehr aufwändiger Arbeitsschritte in der Postproduktion - angefangen mit dem Motion- und Face-Capturing, über die Animation von Körper, Händen und Gesicht, bis hin zum Ersetzen der Figur in der Szene per Compositing samt korrekter Beleuchtung und automatischer Ergänzung des Hintergrundes, wenn die virtuelle Figur kleiner ist, als der zu ersetzende Schauspieler. Die Größe der virtuellen Figur in der Szene kann nämlich beliebig skaliert und die Bewegungen editiert werden. Wonder Studio kann ebenso einfach von Amateuren genutzt wie in bestehende professionelle VFX-Workflows integriert werden - es importiert 3D Modelle gängiger Modeler und exportiert Daten wie etwa das Motion Capturing, Kameratracking, die Alpha Maske oder eine leere Szene (ohne Figuren) für die Arbeit in anderen Programmen. Die fertige Szene läßt sich in bis zu 4K als MP4 oder PNG-Sequenz (und bald auch ProRes) rendern.

Aufgrund der hohen Komplexität und den damit verbundenen Kosten dieser Arbeit war der Einsatz solcher virtueller Charaktere in real gedrehten Filmen bisher eher großen Produktionen vorbehalten, wie zum Beispiel Disneys Avenger Reihe von Blockbustern. Für Wonder Studio reicht jetzt als Hardware einfach eine Kamera aus. Da Wonder Studio ein webbasierter Dienst ist, entfällt sogar die Notwendigkeit eines leistungsstarken Rechners für die 3D-Animation oder das Compositing. Ziel von Wonder Studio ist es, die kreative Arbeit von den mechanischen und eher lästigen Routineaufgaben zu befreien, indem diese per KI automatisiert werden. Zwar gibt es für die einzelnen Aufgaben schon verschiedene KI-Tools (wie etwa fürs Motion Capturing oder das Ersetzen des Hintergrundes), aber Wonder Studio bietet eine nahtlose Integration dieser diversen Werkzeuge.

Mimik Capturing

Das Ganze klingt eigentlich zu gut, um wahr zu sein, es wird aber schon durch erste Berichte wie zum Beispiel von Techcrunch bestätigt, dass es wirklich so gut wie angepriesen funktioniert. Noch ist Wonder Studio zwar in der geschlossenen Betaphase und man muss sich für den Zugang bewerben, es wird jedoch bereits von den bekannten Action-Regisseuren Russo Brothers für die Produktion eines neuen Netflix Films mit Millie Bobby Brown und Chris Pratt genutzt.

Es soll nach der geschlossenen Beta bald eine Möglichkeit geben, um Wonder Studio auch kostenlos auszuprobieren - erweiterte Funktionen für Profis werden in verschiedenen kostenpflichtigen Tarifen verfügbar sein. Wonder Dynamics kommt auch nicht aus dem Nichts - einer der Gründer ist der bekannte Schauspieler Tye Sheridan, der in Steven Spielbergs SF-Film Ready Player One (2018) die Hauptrolle spielte. Ende 2021 hatten unter anderem Epic Games und Samsung 10 Millionen Dollar in den Startup investiert.

Wonder Studio UI

Wonder Studio ist ein gutes Beispiel dafür, wie in sehr naher Zukunft die Integration von KI Tools in die Filmproduktion aussehen wird: vormals komplexe und lästige Arbeiten werden einfach per Klick nutzbar. Es braucht keine große Phantasie, um sich auch weitere Aufgaben in der Postproduktion vorzustellen, die von einem ähnlichen Tool erledigt werden könnten: die nahtlose Integration von virtuellen Objekten, Umgebungen oder VFX in einen Film, das Ersetzen von Schauspielern (oder auch nur deren Gesichtern, Stimme oder der Kleidung) gegen Andere und vieles mehr.