News: Adobe teasert Generative Fill und Auto-Dubbing für Video

Die auf der MAX als Sneak Previews vorgestellten KI-Funktionen haben alle noch Projektstatus, sind also noch in Entwicklung. Als erstes soll dabei wie es scheint "Project Fast Fill" die generativen KI-Tricks von Firefly in den Videobereich bringen. Damit soll das Hinzufügen, Entfernen oder Erweitern von Bildinhalten mit einfachen Firefly-gesteuerten Prompts ermöglicht werden, wie es bereits Photoshop vormacht.

[Nachtrag 12.10.] Project Fast Fill wird im folgenden Video (die archivierte Sneak-Session von der MAX) ab ca. 6:00 vorgestellt:

Generatives Füllen in Photoshop - demnächst auch in Premiere?

Mit "Project Dub Dub Dub" (ab 54:11 zu sehen) wiederum arbeitet Adobe an einer eigenen, automatisierten Video-Synchronisation - entsprechende Funktionen bietet ja etwa ElevenLabs und werden demnächst beispielsweise auch in YouTube erwartet. Auch beim Project Dub Dub Dub soll eine Aufnahme oder eine Audiospur eines Videos direkt in Premiere Pro automatisch in alle unterstützten Sprachen übersetzt werden. Die Stimme des/der Originalsprecher*in soll dabei synthetisiert werden.

Mit "Project Scene Change" (ab 25:35 im obigen Video) sollen sich ein Motiv und eine Szene aus zwei separaten Videos, die in unterschiedlichen Kamerapositionen aufgenommen wurden, zu einer Szene mit synchronisierter Kamerabewegung zusammenfügen lassen. Eine diffusionsbasierte Upsampling-Technologie kommt bei "Project Res Up" zum Einsatz, um Videos von geringen in höhere Auflösungen konvertieren zu lassen (ab 49:15).

Für den Fotobereich hat Adobe übrigens unter anderem Project Stardust in petto, das eine objektbasierte Fotobearbeitung ermöglichen soll. Komplexe Bildelemente sollen sich einfach auswählen, bearbeiten und löschen lassen - beispielsweise Personen in einem Foto an eine andere Stelle in der Komposition verschoben und der Hintergrund dort ausgefüllt werden, wo sie zuvor standen. Auch die Farbe eines Kleidungsstücks o.ä. soll sich so verändern lassen, als bestünden die Bilder aus verschiedenen Ebenen.