Apples KI-Team hat eine neue Methode namens FaceLit veröffentlicht, die ausgehend von einem Portraitfoto neue Ansichten des Gesichtes erzeugen kann bei beliebig veränderter Lichtsituation. Es läßt sich also nachträglich die Ausleuchtung ändern, d.h. es kann eine virtuelle Lichtquelle frei positioniert werden, welche Licht auf das Gesicht fallen läßt. Möglich wird dies, indem anhand eines ganz normalen Fotos ein 3D-Modell erzeugt und genutzt wird.
Anders als schon vorhandene ähnliche Algorithmen, kann FaceLit mit normalen Portraitfotografien arbeiten - es werden weder speziell beleuchteten Aufnahmen benötigt, noch Daten zur Kameraausrichtung. Eine weitere manuelle Nachbearbeitung ist ebenfalls nicht nötig.
FaceLit berücksichtigt sowohl die spezifische Form als auch die Materialität eines Gesichts um fotorealistische Portraits zu erzeugen, die sowohl korrekt in Bezug auf Beleuchtung und 3D-Ansicht sind. FaceLit funktioniert mit Fotos echter Personen ebenso wie mit z.B. klassischen gemalten Porträts wie im folgenden Beispiel:
Der Code von FaceLit steht auf GitHub zum Download bereit, die Forschungsarbeit findet sich hier. Wir hatten früher bereits über eine auf der Siggraph 2019 veröffentlichte Forschungsarbeit berichtet, welche per neuronalem Netz die Beleuchtung von Gesichtern auf Fotos nachträglich ändern konnte.
Blackmagic hat eine ähnliche Funktion in das neue DaVinci Resolve 18.5 integriert. Der KI-Effekt Relight FX ermöglicht es dort, Szenen mit virtuellen Lichtquellen nachträglich zu beleuchten. Er arbeitet allerdings mit vollständigen Videos und produziert keine neuen perspektivischen Ansichten.
Es wird interessant sein zu sehen, zu welchem Zweck Apple FaceLit entwickelt - denkbar wäre eine Integration in die Kamera- oder Foto-App, die es dann ermöglichen würde, Portraitaufnahmen nachträglich zu optimieren. Die nächste Entwicklungsstufe wäre dann eine ähnliche KI für die Manipulation von Gesichtern in Videos.
