Videos wie von Rembrandt, Picasso oder Van Gogh gemalt? Der Informatiker Manuel Ruder hat einen Algorithmus erschaffen, der es ermöglicht, einen Videoclip ganz im Stile eines Malers zu rendern. Er setzt dabei auf ein Verfahren, welches unter anderem Google vor ein paar Monaten schon genutzt hat, nämlich per Deep Learning Bilder berühmter Maler mit distinkten Malstilen als Vorlagen einzulesen, um diese dann auf einzelne Bilder zu übertragen.
Die Herausforderung bestand darin, diesen neuen Stil auf eine ganze Bildreihe anzuwenden und größere Schwankungen in der Kontinuität der Darstellung zu vermeiden. So sorgt das Programm per Optical Flow unter anderem dafür, daß Bildteile, welche kurzzeitig durch sich vorbeibewegende Objekte verdeckt werden, bei ihrem Wiedererscheinen noch gleich aussehen und nicht mit einem etwas anderen Look versehen werden (schön zu sehen im Demovideo unten), was irritierend auf den Betrachter wirken würde.
Schon damals gab es Demos einer App, die die von den neuronalen Netzwerken gelernten Stile auch auf Videos anwenden konnte, doch waren diese Stile von den Machern der App vorgegeben. Die Software von Manuel Ruder dagegen steht als Linux Open Source Projekt zur Verfügung und kann so von jedermann mit beliebigen Bildern trainiert werden um einen bestimmten Look zu reproduzieren. Sein Projekt nutzt den Neural Style Algorithmus, der Einzelbilder mit fremden Stilen versehen kann und der auf das (ebenso quelloffene) Torch Framework für neuronale Netze aufsetzt.
Voraussetzung ist allerdings eine leistungsstarke GPU mit deren Hilfe die Berechnungen per CUDA oder auch OpenCL beschleunigt werden - einmal beim Lernen und das andere Mal beim Rendern. Für eine Auflösung von 450x350 wird etwa ein Minimum von 4GB VRAM empfohlen. Trotzdem ist Geduld gefordert - das Rendern eines 1080p-Frames kann schon mal über 10 Minuten dauern.
Es gibt zwar auch schon Apps, welche einen Stil-Transfer für Smartphone Photos und Videos ermöglichen, allerdings nur mit vorgegeben Stilen: Pikazo, Alter, Prisma und Artisto - letzteres arbeitet als einziges zwar auch mit Videos, aber die Clips können maximal 10 Sekunden lang sein. Ganze Videos per App mobil zu berechnen, scheitert an der Leistungsschwäche von Smartphone bzw. Tablet CPUs und GPUs im Vergleich mit ausgewachsenen Desktopcomputern - vor allem natürlich solchen mit aktuellen rechenstarken Grafikkarten. Deswegen findet die eigentliche Berechnung der 14 Filter auf einem externen Server statt. Bei einigen der Photo-Apps kann man z.T. auch selbst ein Photo mit dem gewünschten neuen Stil zum Server des jeweiligen Anbieters schicken, um einen gewünschten Stil implementieren zu können.
Der Unterschied zu traditionellen Film-Looks bzw. Stil-Filtern ist die Universalität des neuen Verfahrens: per neuronaler Netzwerke können beliebige Bilder als Vorlage für einen neuen Stil verwendet werden - der neue Look ist somit nicht "hardcoded", sondern extrem flexibel.
Die im Video gezeigten Beispiele sind zwar spektakulär, aber nur in wenigen Fällen (wie z.b. psychedelischen Filmsequenzen) anwendbar bzw. ihr Sensationswert ist vermutlich schnell abgenutzt - wer will schon das x-te Video im Stile Picassos sehen? Interessanter ist wohl die Anwendung subtilerer Looks in Filmen - der Phantasie bzw. der Vorlage sind keine Grenzen gesetzt - wir sind jedenfalls gespannt auf die neuen, per Deep Learning einfach von Bildern zu eigenen Videos transferierten Looks. Ein neues interessantes Tool im Filmer-Werkzeugkasten - bald hoffentlich auch in eine anwenderfreundliche und weiter optimierte Software (Windows/OS X) für Endanwender gegossen.
Hier noch ein Beitrag der Tagesschau über Manuel Ruder und seinen Programm und hier das detaillierte Paper. (Danke an Rüssel und jwd96)
Hier ein weiteres Video, welches mit dem Algorithmus von Manuel Ruder produziert wurde:
