Dieser virtuelle Charakter ersetzt dann nahtlos den Schauspieler, ahmt sowohl seine Bewegungen als auch seine Mimik nach und wird passend zur Szene auch richtig beleuchtet und an den Filmlook angepasst. Das Ganze funktioniert sogar nicht nur für statische, sondern auch für dynamische Kameraeinstellungen samt sich ändernder Beleuchtung. Dazu sind im Gegensatz zu anderen Lösungen keine besonderen Tiefeninformationen, zwei Kameras (wie zum Beispiel bei Move.ai) oder Marker notwendig - zum Motion Capturing reicht die Aufnahme einer einzigen normalen Kamera aus, den Rest erledigt die KI.
Wonder Studio kann nicht nur mit einzelnen Einstellungen, sondern auch mit ganzen Filmsequenzen arbeiten. Es erkennt automatisch Schnitte und verfolgt jeden Schauspieler durch die ganze Szene hinweg über alle unterschiedlichen Einstellungen und ersetzt ihn durch das gewählte CG-Model. Es können auch mehrere Schauspieler durch verschiedene CG-Charaktere ersetzt werden. Einige fertige Modelle sind schon als Vorgaben in Wonder Studio enthalten und können ohne weitere Kosten genutzt werden, es können aber auch beliebige eigene CG-Figuren importiert werden.
Wonder Studio automatisiert so eine ganze Reihe normalerweise sehr aufwändiger Arbeitsschritte in der Postproduktion - angefangen mit dem Motion- und Face-Capturing, über die Animation von Körper, Händen und Gesicht, bis hin zum Ersetzen der Figur in der Szene per Compositing samt korrekter Beleuchtung und automatischer Ergänzung des Hintergrundes, wenn die virtuelle Figur kleiner ist, als der zu ersetzende Schauspieler. Die Größe der virtuellen Figur in der Szene kann nämlich beliebig skaliert und die Bewegungen editiert werden. Wonder Studio kann ebenso einfach von Amateuren genutzt wie in bestehende professionelle VFX-Workflows integriert werden - es importiert 3D Modelle gängiger Modeler und exportiert Daten wie etwa das Motion Capturing, Kameratracking, die Alpha Maske oder eine leere Szene (ohne Figuren) für die Arbeit in anderen Programmen. Die fertige Szene läßt sich in bis zu 4K als MP4 oder PNG-Sequenz (und bald auch ProRes) rendern.
Aufgrund der hohen Komplexität und den damit verbundenen Kosten dieser Arbeit war der Einsatz solcher virtueller Charaktere in real gedrehten Filmen bisher eher großen Produktionen vorbehalten, wie zum Beispiel Disneys Avenger Reihe von Blockbustern. Für Wonder Studio reicht jetzt als Hardware einfach eine Kamera aus. Da Wonder Studio ein webbasierter Dienst ist, entfällt sogar die Notwendigkeit eines leistungsstarken Rechners für die 3D-Animation oder das Compositing. Ziel von Wonder Studio ist es, die kreative Arbeit von den mechanischen und eher lästigen Routineaufgaben zu befreien, indem diese per KI automatisiert werden. Zwar gibt es für die einzelnen Aufgaben schon verschiedene KI-Tools (wie etwa fürs Motion Capturing oder das Ersetzen des Hintergrundes), aber Wonder Studio bietet eine nahtlose Integration dieser diversen Werkzeuge.
Das Ganze klingt eigentlich zu gut, um wahr zu sein, es wird aber schon durch erste Berichte wie zum Beispiel von Techcrunch bestätigt, dass es wirklich so gut wie angepriesen funktioniert. Noch ist Wonder Studio zwar in der geschlossenen Betaphase und man muss sich für den Zugang bewerben, es wird jedoch bereits von den bekannten Action-Regisseuren Russo Brothers für die Produktion eines neuen Netflix Films mit Millie Bobby Brown und Chris Pratt genutzt.
Es soll nach der geschlossenen Beta bald eine Möglichkeit geben, um Wonder Studio auch kostenlos auszuprobieren - erweiterte Funktionen für Profis werden in verschiedenen kostenpflichtigen Tarifen verfügbar sein. Wonder Dynamics kommt auch nicht aus dem Nichts - einer der Gründer ist der bekannte Schauspieler Tye Sheridan, der in Steven Spielbergs SF-Film Ready Player One (2018) die Hauptrolle spielte. Ende 2021 hatten unter anderem Epic Games und Samsung 10 Millionen Dollar in den Startup investiert.
Wonder Studio ist ein gutes Beispiel dafür, wie in sehr naher Zukunft die Integration von KI Tools in die Filmproduktion aussehen wird: vormals komplexe und lästige Arbeiten werden einfach per Klick nutzbar. Es braucht keine große Phantasie, um sich auch weitere Aufgaben in der Postproduktion vorzustellen, die von einem ähnlichen Tool erledigt werden könnten: die nahtlose Integration von virtuellen Objekten, Umgebungen oder VFX in einen Film, das Ersetzen von Schauspielern (oder auch nur deren Gesichtern, Stimme oder der Kleidung) gegen Andere und vieles mehr.
mehr Informationen
Kommentare lesen/schreiben
Passende News:
- Aus Text wird nun auch Audio: Stable Audio generiert Musik und Soundeffekte per KI
- Blackmagic Micro Studio Camera 4K G2 - aktualisiert und bald verfügbar
- Kinofest 2023 - alle Filme für je 5 Euro, zwei Tage lang
- FaceFusion - Face Swapping und DeepFakes einfach erstellen
- Nvidia Perfusion - Personen und Objekte in KI-Modelle einfach einbringen
- YouTube integriert automatisches Audio-Dubbing per KI
- Neues Sony Mikrofon ECM-M1: Per auswählbarer Richtcharakteristik 8 Mikros in Einem?
- Droht dem Studio Babelsberg die Insolvenz?
- Was macht Steven Spielbergs Filme magisch? Spannung und Spektakel?
- RØDE PodMic USB: Studio-Mikrofon mit XLR und USB
- Adobe Generative Fill - KI-Bildergänzung in Photoshop, einfach für jedermann!
- Spacetop: Notebook mit virtuellem 100" Riesendisplay - per Augmented Reality Brille