Die "virtuelle Filmproduktion" ist immer häufiger Thema -- bei der im Star Wars Universum spielenden SF/Western-Serie "The Mandalorian" von Disney wurde die Technik (wie bereits berichtet) mit Hilfe der konzerneigenen Effekt-Schmiede ILM (Industrial Light and Magic) eingesetzt - rund 50% der Produktion fand vor dem virtuellem Filmset statt.
Ob ein traditionelles Compositing überhaupt noch gebraucht wird, wenn im Zuge der virtuellen Filmproduktion viele dieser Aufgaben wegfallen, ist nun natürlich die große Frage. Ihr geht in einem interessanten Artikel die Digital Cinema Society nach, und führt dabei auch auf, welche Probleme die neue Technik trotz der vielen Vorteile (noch) mit sich bringt.
Die Vorteile virtueller Filmsets
Bei der virtuellen Filmproduktion werden neue Techniken kombiniert, um die unterschiedlichen Stufen des traditionell linearen Ablaufs einer Filmproduktion (Pre-Production, Dreh, Postproduction) mittels live computergenerierter Bilder am Set miteinander verschmelzen zu lassen, um die Arbeit intuitiver zu machen. Ihre Vorteile liegen darin, dass das Endprodukt, der finale Look eines Filmes (samt Grading und CGI Bildern) schon während der Produktion für das Film-Team sichtbar ist und nicht erst in der Postproduktionsphase. Die Filmproduktion wird dadurch schneller, kollaborativer und gibt allen Beteiligen sofortiges Feedback bei visuellen Änderungswünschen.
Eine zentrale Rolle spielt die Unreal Engine von Epic Games, eine Grafik-Engine samt dazugehörigen Tools, die ursprünglich zum Erschaffen und Darstellen von künstlichen Welten in Computerspielen entwickelt wurde. Der Realistätsgrad ist mit der aktuellen Version so hoch, dass sie viele Szenen realistisch in Echtzeit darstellen kann und so die Grundlage für die virtuelle Filmproduktion liefert.
Anhand des virtuellen Filmsets können der Regisseur und sein Team schon vor dem Dreh die gewünschten Drehorte scouten bzw. ändern und Kameraeinstellungen und -bewegungen festlegen. Anstelle von Greenscreens zeigen im Studio vier LED Wände (3 Seiten plus Decke) das gerenderte Filmset an, welches in Echtzeit geändert werden kann, z.B. um die Beleuchtung anzupassen oder Objekte darin zu manipulieren. So können direkt am Set zusammen von den Beteiligten aller Departments (wie DOP, VFX, Beleuchtung und Regie) kreative Entscheidungen für das finale Bild getroffen werden und live gemeinsam getestet werden.
Die Probleme virtueller Filmsets
Es sprechen also eine Menge Fakten für den Einsatz von LED Wänden anstelle von traditionellen Greenscreens - was aber sind die Nachteile? Welche Arbeiten müssen doch noch per Compositing gemacht werden?
Die Wirklichkeit ist auch hier komplexer als beim ersten Anschein, denn die virtuelle Filmproduklion bringt zwar einige Verbesserungen der klassischen Workflows, aber sie stellt auch neue Herausforderung.
Da ist einmal das Problem, daß im Kamerabild ein Moiré entstehen kann, wenn die LEDs des Hintergrunds ähnlich groß sind wie die Pixel (bzw. Sensel) der Kamera - ob das Problem besteht, zeigt der Check des Bildes auf einem Kontrollmonitor. Falls ja, kann es es behoben werden, indem der Hintergrund etwas unscharf gestellt wird oder der Hintergrund in der Postproduktion ersetzt wird.
Ein weiteres Problem kann durch das besondere Lichtspektrum der RGB-LEDs auftreten, welches im Gegensatz zum Tageslicht oder dezidierten Leuchten unregelmäßig ist und Spitzen in engen Frequenzbändern aufweist. Das kann - besonders wenn das LED Licht mit Scheinwerfern kombiniert wird - zu unvorhergesehenen Farbeffekten führen, die dann in der Nachbearbeitung korrigiert werden müssen.
Weitere Aufgaben fürs Compositing bestehen unter anderem im Entfernen des deutlichen Übergangs zwischen Boden und virtuellem Hintergrund oder dem Korrigieren von Lichtreflektionen zwischen LED-Wand und Props. In der Postproduktion muss zudem die Latenz des gerenderten Hintergundbildes ausgeglichen werden, die entsteht, wenn die Kamera etwa einen schnellen Schwenk macht, die Unreal-Engine aber erst mit einem Versatz von einigen Frames entsprechende hochaufgelösten Hintergrundbilder ausspielt (bei "The Mandalorian" etwa betrug die Latenz 8 Frames).
