News: DeepFaceVideoEditing: KI ermöglicht das Ändern von Gesichtsausdrücken in Videos

11.8.2022 - 11:38 Uhr

Einen weiteren Schritt auf dem Weg zum objektbasierten Videoediting per KI hat ein Team chinesischer Forscher vollbracht - ihr "DeepFaceVideoEditing" getaufter Algorithmus basiert auf DeepLearning-Methoden und ermöglicht die Manipulation von Gesichtsausdrücken oder auch anderen Merkmalen mittels einer einfachen Skizze.

Änderungen an der Frisur, des Barts und der Augenbrauen per DeepFaceVideoEditing
Änderungen an der Frisur, des Barts und der Augenbrauen per DeepFaceVideoEditing

In einem Video, in dem ein Gesicht prominent vorkommt, können User mehrere Bilder auswählen und manuell eine grobe Maske definieren, in welcher die gewünschte Änderung des Gesichts skizziert wird. Diese Änderung kann sowohl den Ausdruck - etwa der Augen oder des Mundes - als auch Merkmale wie einen Bart, eine Frisur oder Augenbrauen betreffen. Es lassen sich zwei grundlegend verschiedene Arten von Änderungen realisieren: so kann entweder ein Teil eines Gesichts konsistent über die Länge des gesamten Videos geändert werden (wie zum Beispiel die Frisur oder ein Bart) oder die Änderung kann nur eine kleine Sequenz von Bildern betreffen, wie zum Beispiel eine kurzzeitige Änderung der Mimik wie etwa ein Lächeln oder ein kurzes Hochziehen der Augenbrauen oder Naserümpfen. Im folgenden Video werden die verschiedenen Möglichkeiten der Änderungen per DeepFaceVideoEditing schön demonstriert:

In Zukunft können Videoeditoren per DeepFaceVideoEditing (oder ähnliche Methoden, die noch entwickelt und dann hoffentlich auch in Editingtools integriert werden) viel leichter als bisher (z.B. per Rotoscoping) ganz gezielt die Mimiken oder das Aussehen von Schauspielern nachträglich ändern, oder zum Beispiel ein Tattoo, eine Brille oder etwa eine Narbe entfernen oder hinzufügen. Dies ermöglicht eine neue Bandbreite an Optionen in der Postproduktion, d.h. es können auch weitreichendere künstlerische Entscheidungen nach dem Dreh getroffen und relativ leicht umgesetzt werden.

DeepFaceVideoEditing Algorithmus
DeepFaceVideoEditing Algorithmus

DeepFaceVideoEditing nutzt unter anderem den von Nvidia entwickelten StyleGAN3 Algorithmus, der auf die Generierung und auch die Manipulation von menschlichen Gesichtern spezialisiert ist. Bekannt ist er unter anderem durch das Onlineprojekt Thispersondoesnotexist, mit dessen Hilfe beliebig realistisch aussehende Gesichter generiert werden können. Und auch dieser Algorithmus zum künstlichen Altern von Gesichtern per Photo, der auch online ausprobiert werden kann, nutzt StyleGAN.

Ändern der Mimik und der Frisur per DeepFaceVideoEditing
Ändern der Mimik und der Frisur per DeepFaceVideoEditing

Algorithmen zum Editing von Gesichtern in Videos sind im Grunde genommen sehr ähnlich wie die oben genannten zur Manipulation in Photos, ihre Aufgabe ist aber aufgrund der Vielzahl von leicht differierenden Einzelbildern nochmals deutlich komplexer. Zudem benötigen sie aufgrund dieser höheren Komplexität mehr Rechenpower. Aber wie der neue Algorithmus zeigt, sind die Probleme zu bewältigen und so ist es immer nur eine Frage der Zeit bis (KI-)Algorithmen, die für Photos funktionieren, auch mit Videos arbeiten. Adobe hatte sogar schon letztes Jahr im Rahmen der MAX 2021 das auf KI-Sensei Technologie beruhende Project Morpheus vorgestellt, welches die Änderung des Gesichtsausdruck einer Person per Schieberegler in Adobe Premiere ermöglichte.

(thomas)

mehr Informationen bei geometrylearning.com
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

29.September 2022 - 17:43 Uhr
DJI Transmission: Profi-Funkstrecke für Monitoring und Kamera-/Gimbalsteuerung

29.September 2022 - 14:46 Uhr
Neue Intel Raptor Lake CPUs kommen mit bis zu 34 Kernen und 6 GHz

28.September 2022 - 16:21 Uhr
Sony stellt FX30 vor - Cinema Line goes Super35

28.September 2022 - 15:01 Uhr
DJI: Zwei neue Mavic 3 Enterprise Modelle: 56x Hybridzoom und bis zu drei Kameras



weitere News: