News: Video-Editing per Textkommando: Nach Text-zu-Bild kommt Text-zu-Video KI

Danach ist zu sehen, wie per Textbefehl ein Bild eines "üppigen Gartens" generiert wird - ganz wie von einem KI Bildgenerator bekannt. Per "langsam vergössern" wird dann jedoch eine virtuelle Kamerazoomfahrt gestartet und ein Text langsam eingeblendet. Sehr interessant ist die dritte Szene - hier wird wie es scheint aus echtem Filmmaterial per simplem "Greenscreen charakter" Befehl eine Person maskiert, dann der Hintergrund unscharf gemacht und schließlich noch entsättigt.

Demonstriert werden damit verschiedene, bereits bekannte KI-Techniken: die Generierung von Bildern, das gezielte nahtlose Entfernen von Objekten in einem Video, die Generierung von Hintergründen, die Maskierung von Objekten samt Keying - alles durch Textbefehle.

Der Clip suggeriert, dass all diese Techniken auch beim Video-Editing greifen, wobei natürlich aus dem Teaser nicht hervorgeht, wie weit die videospezifischen Funktionen tatsächlich gehen, und ob der Clip wirklich von den genannten Techniken erzeugt oder der angepeilte Funktionsumfang per Compositing nur simuliert wurde. Der ganz große Schritt zum KI-basierten Generieren von ganzen Videosequenzen scheint noch nicht vollzogen zu sein, denn die Videosequenz am Anfang wird ja ausdrücklich importiert und nicht erstellt.

Da der Clip jedoch von Runway ML stammt, darf man davon ausgehen, dass entsprechende Möglichkeiten des textgesteuerten und objektbasierten Editings per KI demnächst auch für Video kommen. Green Screen, Inpainting und Motion Tracking ist bereits Teil des Funktionsumfangs des Online Video Editors von Runway, neu wäre also vor allem die Bedienung per Textkommandos. Damit stünde allerdings eine absolute Revolution in der Videoproduktion vor der Tür - schneller als erwartet.

Online Video Editor Oberfläche

Runway ML (Machine Learning) bietet schon seit einigen Jahren den Online Video Editor mit zahlreichen KI Funktionen an. Teil des Teams ist unter anderem auch der Heidelberger KI Forscher Patrick Esser, der maßgeblich auch an der Entwicklung des erst kürzlich kostenlos öffentlich zugänglich gemachten KI-Bildgenerators Stable Diffusion mitgearbeitet hat. Esser hatte vor kurzem auch schon ein Video veröffentlich, in dem der Hintergrund eines Videos dynamisch per Textbeschreibung ausgetauscht wird.

Man kann sich aktuell für eine geschlossene Betaphase anmelden, um Zugang zu den im Clip demonstrierten Text-to-Video-Funktionen im Online Video Editor zu erhalten. Wir sind extrem gespannt.