Peter Jacksons achtstündiger Dokumentarfilm über die Beatles zeigt anhand von 50 Jahre altem Filmmaterial die Schlussphase der Beatles in einem völlig neuen Licht - und wäre ohne maßgeschneiderte KI-Algorithmen nicht möglich gewesen.
Peter Jackson konnte für "Get Back" (der leider nur auf dem Streamingkanal Disney+ verfügbar ist) auf Filmmaterial und Tonaufnahmen von Dokumentarfilmer Michael Lindsay-Hoggs zurückgreifen. Er nahm damals die Beatles bei ihren 3-wöchigen Studiosessions für das "Let it Be" - Album für seinen gleichnamigen Film nahezu Nonstop auf.
Der Film zeigt, wie die Beatles in ihrer Schlussphase in nur 22 Tagen 14 neue Stücke schaffen und bis zur endgültigen Aufnahme feinschleifen, wie die Bandmitglieder interagieren und macht auch die Risse sichtbar, die zum Ende der Beatles führen. Und wie trotzdem im gegenseitigen Zusammenspiel innerhalb kürzester Zeit Songs wie etwa "Let it Be", "Get Back" oder "The Long and Winding Road" entstehen - diesen kreativen Prozess live zu beobachten ist ebenso für Beatles-Fans als auch für andere Musikliebhaber interessant. Tom Whitwell hat aus den Beatles Sessions sogar einige nützliche Regeln fürs Brainstorming extrahiert.
Ein großes Problem stellte für Jackson allerdings die Qualität des vorhandenen Audio- und Filmmaterials dar: so gab es zwar rund sechzig Stunden 16mm-Filmmaterial sowie 150 Stunden Audiomaterial, doch wurde der größte Teil des Tons (ca. 70%) mit nur einem einzigen Mikrofon sowie eines portablen Nagra-Mono-Audiorekorder aufgenommen (im Gegensatz zu den eigentlichen Musikaufnahmen im Studio mittels eines 8-Spur-Rekorders).
Audio: Demixing einer Spur per KI in viele
Deswegen stand Jackson für seine Arbeit nur eine einzige Tonspur zur Verfügung, die unabgemischt und somit ein völliges Durcheinander aus den Instrumenten der Musiker, den Hintergrundgeräuschen und dem Gerede der Beteiligten war - eigentlich also unbrauchbar um die Interaktionen während der Aufnahmen für das Album zu dokumentieren. Zudem war auch die Auflösung des alten Filmmaterials der beiden 16mm Kameras gering und dessen Qualität schlecht, weil körnig und extrem farbstichtig.
Und zum Vergleich Ausschnitte aus dem Original-Filmmaterial:
Die Lösung brachten in beiden Fällen spezialisierte DeepLearning-Algorithmen.
So suchte das Produktionsteam um Jackson nach einem geeigneten Deep Learning Algorithmus, um die in einem Track verbackenen Töne nachträglich in einzelne Spuren zu zerlegen, musste aber feststellen, dass es für diese besondere Aufgabe zu diesem Zeitpunkt (Projektbeginn war 2017) noch keinen geeigneten Algorithmus gab. Also entschloss man sich, mit der Hilfe des Audio Machine Learning Spezialisten Paris Smaragdis von der Universität Chicago ein eigenes neuronales Netzwerk zu entwickeln, welches anhand eigener, hochqualitativer Trainingsdaten speziell für das Projekt vorbereitet wurde.
Der MAL (Machine Assisted Learning - aber auch der Vorname des Toningenieurs der Beatles) getaufte Algorithmus ermöglichte es Jackson und seinem Team, jede einzelne Tonspur - ob Musikinstrumente, Gesang oder Studiogespräche - aus den ursprünglichen Mono-Aufnahmen präzise per "Demixing" zu isolieren. Das System lernte, jedes einzelne Instrument wie etwa die Gitarren, den Bass oder das Schlagzeug und sogar auch die unterschiedlichen Stimmen der einzelnen Beteiligten zu identifizieren und aufzutrennen. Dies ermöglichte Jackson und seinem Team einen sauberen nachträglichen Remix.
Hier Peter Jackson speziell zum Demixing der Mono-Audioaufnahmen und den unterschiedlichen Stadien der Sichtung des Materials und der Länge des Films:
Ähnliches schaffen inzwischen zum Beispiel auch Algorithmen wie Spleeter, Izotopes RX 9 oder der Algorithmus des ByteDance AI Lab.
16mm Filmmaterial per KI verbessert
Ähnlich hilfreich waren neuronale Netze auch bei der Verbesserung des Filmmaterials. Vergleicht man die alte Doku von Michael Lindsay-Hoggs mit der von Jackson fällt auf, wie viel schärfer, glatter und lebendiger letztere aussieht, obwohl beide auf dem gleichen 16mm-Material beruhen, welches bei Jackson zudem noch rund 50 Jahre älter (und schlechter) ist.
Jackson konnte bei der Restauration des alten Filmmaterials auf seine Erfahrungen bei "They Shall Not Grow Old" zurückgreifen, seinem Dokumentarfilm über den 1. Weltkrieg, welcher über 100 Jahre altes Filmmaterial nutzte, welches durch spezielle KI-Algorithmen aufbereitet wurde und die alten Bilder so in die Gegenwart holte.
"They Shall Not Grow Old" Trailer:
Dieses Wissen (und die Algorithmen) konnte Jackson auch für "Get Back" einsetzen, um die alten Bilder nicht nur in der Auflösung zu verbessern, sondern auch um die ursprünglichen Farben wiederherzustellen und Bildfehler zu beseitigen. Wir hatten ja schon öfter über ähnliche Algorithmen berichtet, wie etwa denjenigen, der Ankunft eines Zuges in La Ciotat von 1896 nach 4K hochskalierte, kolorierte und auf 60fps interpolierte.
Diese Beispiele geben einen schönen Ausblick auf die Zukunft von Dokumentarfilmen, welche altes Audio- und Filmmaterial verwenden: durch DeepLearning-Algorithmen werden ganz neue Perspektiven auf die Vergangenheit eröffnet werden, von denen die aktuellen Anwendungen erst der Anfang sind - denkbar ist zum Beispiel zukünftig auch die automatische Rekonstruktionen von Bauwerken und Straßenzügen oder auch von Gesichtern in 3D nur anhand von alten Filma- oder sogar nur Photoaufnahmen und viele weitere Anwendungen, die schon jetzt in ersten https://www.slashcam.de/news/Machine-Learning-News.html (Forschungsarbeiten ausprobiert werden.
Die verschiedenen Versionen: von 2 1/2 zu 6 zu 8 Stunden Länge
Ursprünglich sollte "Get Back", an dem Jackson seit 2017 arbeitete, in Form eines 2 1/2 stündigen Films in die Kinos kommen, wurde aber wegen der Pandemie verschoben. Jackson nutzte das unerwartete Zeitgeschenk, um eine sechsstündige Version zu produzieren, die von den zwei noch lebenden Beatles sowie den rechtlichen Vertretern der zwei anderen abgenommen wurde und sich schließlich noch zu 8 Stunden auswuchs.
"Get Back" dokumentiert die 22 Tage des Schaffens im Studio plus das gesamt 45-minütige berühmte Konzert auf dem Dach - wäre es bei anvisierten Länge geblieben, hätten durchschnittlich nur 2 1/2 Minuten pro Tag zur Verfügung gestanden - zu wenig nach Jacksons Gefühl, um die verschiedenen Entwicklungen während der Proben ausreichend gut dokumentieren zu können. Im Endeffekt sind es jetzt 15-30 Minuten pro Tag geworden.
Wo gibt es "Get Back" zu sehen?
Leider sind die drei Episoden von "Get Back" mit 8 Stunden Gesamtlänge momentan nur auf Disneys kostenpflichtigem Streamingdienst verfügbar, der für einen Monat rund 9 Euro kostet. Echte Fans warten natürlich auf den Directors Cut - Jackson bevorzugte Version von "Get Back" ist nämlich 18 Stunden lang (allerdings gibt es für diese noch keine aktuellen Veröffentlichungspläne).
