Möchte man per dreidimensionalem Ganzkörper-Capturing aufgenommene Schauspieler in neue (computergenerierte oder reale) Szenen einfügen, ist die realistische Anpassung der Beleuchtung von Figur und Umgebung eine besonders komplizierte Aufgabe. Normalerweise ist ja die Beleuchtungssituation der Aufnahme (samt Schattenwurf) durch die Textur des 3D-Modells quasi eingebrannt und kann nicht nachträglich, je nach der Lichtsituation in einer neuen Szene, angepasst werden.
Ein Forscher-Teams von Google löst diese Aufgabe durch ein neues ganz spezielles 3D-Capturing System, das aus 331 kugelförmig um den Schauspieler angeordneten LED Leuchten plus 90 12.4 Megapixel (RGB und IR für Tiefeninformationen) Kameras mit 4.112 × 3.008 Pixeln Auflösung besteht, welche mit 60 Frames pro Sekunde Bilder aufnehmen. Aus diesen Bildern plus Reflektions- und Tiefeninformationen wird ein dreidimensionales Modell rekonstruiert samt realen Texturen, Lichtreflektionen und Schatten.
Die LED Beleuchtung wird in dem System dazu genutzt, um bei zwei definierten Farbstimmungen hochauflösende sogenannte Reflektionsmodelle der Figur zu erstellen. Eine 10s (600 Frames) lange Aufnahme benötigt ca. 650 GB an Daten. Mittels dieser Informationen kann die bewegte Figur dann in Echtzeit fotorealistisch in neue Szenen eingefügt und in jeder Beleuchtungssituation samt Schattenwurf auf dem Körper (und der Kleidung) realistisch dargestellt werden.
Bisher gab es zwar schon einige Verfahren, um z.B. per Deep Learning Gesichter auf Photos oder Bauwerke nachträglich neu realistisch auszuleuchten, aber keine für hochauflösendes volumetrisches Captruting von ganzen Körpern.
Technisches Video:
