Disney erforscht schon länger die Möglichkeiten, KIs in Form von neuronalen Netzen zu nutzen, um so arbeits- und zeitaufwändige Prozesse in der Film(post)produktion zu beschleunigen. Jetzt hat ein Team von Forschern von Disneys und der ETH Zürich einen Algorithmus vorgestellt, welcher es erlaubt, Schauspieler in Aufnahmen älter oder jünger erscheinen zu lassen, eine Aufgabe die oft benötigt wird in Filmen - bekanntestes Beispiel ist hier wahrscheinlich Martin Scorseses The Irishman (2019), in welchem Robert De Niro und Al Pacino digital verjüngt wurden. Im folgenden Video wird die neue Methode schön erklärt und ihre Qualität demonstriert:
Der FRAN getaufte Algorithmus (Face Re-Aging Network) kann Gesichter sowohl künstlich altern (Aging) als auch verjüngen (De-Aging). Er stellt eine Alternative dar zu dem ansonsten sehr arbeitsintensiven Vorgehen, Einzelbilder eines Gesichts per Handarbeit zu ändern, und erledigt dies mit einer Geschwindigkeit von nur 5 Sekunden pro Einzelbild. FRAN erlaubt auch eine weitgehende künstlerische Kontrolle über das Ergebnis mittels einfacher und intuitiven Mechanismen, die eine Feinabstimmung des De-Aging-Effekts ermöglichen, denn es kann als Node mit unterschiedlichen Parametern im Compositingprogramm Nuke eingebunden werden - eine Funktion, die in realen Produktionspipelines von Filmen von großer Bedeutung ist.
Im folgenden Beispiel sind mehrere Videobilder einer Person (Alter 35) zu sehen, die auf 65 (obere Reihe) und 18 (untere Reihe) gealtert bzw. verjüngt wurde.
De-Aging reif für die Filmproduktion
Laut Disney ist FRAN der erste produktionsreife, vollautomatische De-Aging Algorithmus - bisherige Algorithmen hatten Probleme, die Identität der Gesichter bei der künstliche Alterung sowie die Konsistenz der Änderungen bei Bildsequenzen zu wahren oder auch einfach Bilder mit einer ausreichend hohen Auflösung für Filme zu erzeugen. FRAN dagegen liefert laut Disney zeitlich konsistente Ergebnisse bei Videos, die Gesichter aus beliebigen Blickwinkeln, unter den unterschiedlichsten Beleuchtungsbedingungen und in Bewegung zeigen.
FRAN in Nuke
Möglich wurde dies durch einen neuartigen Ansatz beim Training. So wurde das neuronale Netzwerk von FRAN mit einem großen Datensatz von Paaren von zufällig erzeugten synthetischen Gesichtern unterschiedlichen Alters trainiert. So wurde die Notwendigkeit umgangen, Tausende von Bildern von echten Menschen unterschiedlichen Alters mit demselben Gesichtsausdruck, derselben Pose, Beleuchtung und Hintergrund zu finden. Dies ermöglichte eine höhere Qualität der Resultate als bisher. Hier die Studie High-Resolution Neural Face Swapping for Visual Effects.
Einschränkungen
Aber auch der neue De-Aging Algorithmus ist nicht perfekt: FRAN hat Schwierigkeiten, sehr große Änderungen am Alter vornehmen, also zum Beispiel das Gesicht eines Erwachsenen in das eines Kindes verwandeln - ebenso kann es das Ergrauen von Haaren nicht simulieren. Da manuelle VFX-Arbeiten und sogar die praktische Anwendung von prothetischem Make-up nicht diesen Einschränkungen unterliegen, wird FRAN also wahrscheinlich nicht so schnell viele Arbeitsplätze in der Industrie ersetzen. Wie am zweiten Beispiel zu sehen ist, kann FRAN jedoch gut zur Ergänzung von Altersänderungen der Maske genutzt werden.
Doch wie immer bei KI-Forschungsarbeiten und -Algorithmen gilt auch hier, daß die Ergebnisse in den nächsten ein, zwei Studien sehr wahrscheinlich eine deutliche Verbesserung erleben werden.
Disney forscht schon länger an VFX KIs
Disney Research arbeitet schon länger an KI-Algorithmen, die Aufgaben in der Filmpostproduktion übernehmen können. So hatte Disney bereits im Juli 2020 eine Forschungsarbeit zusammen mit der ETH Zürich vorgestellt, in welcher eine hochauflösende DeepFake-Methode vorgestellt wurde, um vollautomatisch per neuronalem Netzwerk Gesichter in Videos und Bildern auszutauschen. Mit deren Hilfe konnte das Gesicht eines Schauspielers durch das einer beliebigen anderen Person ausgetauscht, aber weiterhin täuschend echt durch jenen animiert werden.
Ein anderer Disney Algorithmus, der im Dezember 2021 vorgestellt wurde, ermöglichte eine realistische Änderung der Beleuchtung von generierten Gesichter samt Augen, Haaren und Mund mit korrektem Schattenwurf - sowie auch komplexere Änderungen der Umgebungsbeleuchtung in Bezug auf Richtung und Farbe. Und, ganz wichtig für das von Disney angepeilte Aufgabengebiet im Film: die Ergebnisse sehen auch animiert - zum Beispiel beim Wechsel von einer Mimik in eine andre oder beim Sprechen - realistisch aus.
