Wir berichteten im September bereits auf slashCAM von einem KI-Modell, das aus einem Einzelbild (!!) eine 3D Ken Burns Animation erstellen kann.
Hierbei werden diverse Technologien kombiniert und teilweise optimiert. Unter anderem wird die Z-Tiefenschätzung mit einer Objekt Separation zusammengefasst um definierte Kanten zu erhalten und Objekte nicht in der Tiefe "zerreißen" zu lassen. Ebenso hilft die KI dabei, fehlende Bildinhalte, die hinter Objekten in der Bewegung freigelegt werden, schlüssig zu ergänzen.
Bisher gab es nur ein Paper von Simon Niklaus, welches das Modell beschreibt. Da die Forschung u.a. mit Adobe erfolgte, waren noch einige Genehmigungen einzuholen, bevor er auch den Sourcecode freigeben konnte. Letzteres ist nun vor vier Stunden auf Github passiert.
Wer also Lust hat mal eigene 3D Ken Burns Effekte von Einzelbildern zu erzeugen (und weiß wie man Python Umgebungen einrichtet) der findet ab sofort das gesamte PyTorch Projekt zum 3D-Ken Burns Paper auf GitHub. Schöne Sache…
