Bis jetzt wusste man noch recht wenig darüber, wie Apple genau sein synthetisches Bokeh in die Aufnahmen des neuen Cinematic Mode hineinrechnet. Allerdings hat Jan Kaiser auf Twitter nun eine einfache Möglichkeit gefunden, die Tiefenbild-Aufzeichnung des neuen Formates zu extrahieren und zu analysieren.
Apple benutzt dabei gängige Standards und bettet in den Hauptvideostrom einen zweiten Graustufen-Strom als bewegte Depth Map mit deutlich geringerer Auflösung ein (320 x 180 Pixel bei einer 1920 x 1080 Clip-Auflösung). Mit Kommandozeilen-Tools lässt sich dieser zweite Videostream relativ problemlos extrahieren:
MP4Box -add self#2:hdlr=vide IMG_0001.mov -out remux.mp4
ffmpeg -vcodec hevc -i remux.mp4 -map 0:1 map.mp4
Somit ist klar, was man schon lange vermutet hat: Das iPhone 13 zeichnet im Cinematic Mode mit maximaler Schärfentiefe auf und lässt dann Bereiche durch eine Tiefenmaske in der Postproduktion in synthetischer Umschärfe verschwinden. Ein Video von Jan Kaiser zeigt beide Streams parallel auf Youtube:
Wie man deutlich sehen kann, ist die neue Tiefenmaske des iPhone 13 wesentlich weicher und sauberer als die Tiefenmasken welche mit einem Lidar Sensor mittels Record3D erstellt wurden. Ersteres ist für weiche (und glaubhafte) Bokehkanten extrem wichtig.
Zweitens ist deutlich sichtbar, dass die Tiefenmaske fast nur in der Nähe wirkt. Hier sind die Freistellungsmöglichkeiten durch ein synthetisches Bokeh ergo am größten.
Durch eine offene Implementierung als zweiter Datenstrom in einem gängigen Dateiformat ist damit prinzipiell auch die Türe für Anbieter anderer Schnitt- und Compositing-Programme offen. Und gleichzeitig trauen wir uns zu wetten, dass auch andere Kamerahersteller in naher Zukunft Tiefeninformation in ähnlicher Weise in ihre Kamera-Streams einbinden werden.
Und dies wird wiederum für Kameras mit kleinen Sensoren ein weiteres großes Stück vom Kuchen der Großsensor-Kameras bescheren. Denn wenn das Bokeh sauber simuliert werden kann (wozu KI-Algorithmen in der Postproduktion einen weiteren großen Teil beitragen werden), bleibt als letzter wichtiger Vorteil der großen Sensorflächen nur noch die Dynamik. Und selbst in diesem Bereich glauben wir schon etwas Neues im Bereich des Computational Imaging am Horizont ausmachen zu können. Doch das dürfte noch ein kleines bisschen dauern...
