Mit einem beeindruckenden ProofOfConcept hat der holländische Animator Jim Derks unter anderem auf Reddit gezeigt, was man aktuell mit Open Source KI und handelsüblicher Technik bereits erreichen kann.
So hat er Harrison Ford in einigen Szenen des Films "Cowboys & Aliens" digital verjüngt. (S)einen exakten Workflow hat er leider (noch?) nicht offengelegt, jedoch resultiert das Ergebnis aus einer Kombination von Stable Diffusion mit ControlNet und EBSynth. Außerdem kam sehr wahrscheinlich das Denoising und die Magic Mask von Blackmagic Fusion zum Einsatz, die in einem früher offengelegten Workflow bereits eine ähnliche Rolle gespielt hat.
Laut Jim Derks hat der Prozess pro Szene gerade einmal 20 Minuten Verarbeitungszeit gekostet, wobei er auch keine konkreten Angaben zu der genutzten Hardware macht.
Das Ergebnis ist zwar noch keinesfalls perfekt, aber dennoch bereits so gut, dass einem Großteil potentieller Zuschauer der "Fake" nicht unbedingt auffallen würde. Gegenüber vielen anderen aktuellen KI-Anwendungen für Bewegtbild fällt in diesem Demovideo zudem besonders auf, wie gut die temporale Konsistenz des Ergebnisses geworden ist. Das jüngere Gesicht "sitzt" schon beeindruckend fest auf seinem älteren Original. Störende "Glitches" sind ohne pixel-peeping kaum auszumachen.
Damit zeigt dieses Beispiel vor allem eines: Die einfache Austauschbarkeit von Personen und Gegenständen in Videos steht vor der Tür. Und zwar nicht nur für ein paar Studios in Hollywood, sondern für jeden, der Zugang zu etwas GPU-Rechenleistung hat.
Die Qualität wird in kurzer Zeit auch für Heimanwender nahezu perfekt sein und wir werden bald erleben, wie man Änderungen an Clips in der Timeline per Sprache und Bereichsauswahl fast idiotensicher hinbekommt. Einfach gewünschtes Objekt selektieren und sagen/schreiben, was man daran ändern will. Viel mehr wird man dafür bald nicht mehr können müssen...
