2024 scheint ein wichtiges Jahr für KI-Video zu werden - die Entwicklung scheint sich immer weiter zu beschleunigen. Doch trotz vieler interessanter Tools blieb bislang noch die Frage offen, wie denn eine voll integrierte KI-Videolösung aussehen könnte, die alle Werkzeuge wie Videogenerierung, -manipulation, Sprachsynthese und mehr unter dem Dach einer einzigen Softwarelösung vereint - quasi als 1-Mann KI-Filmstudio.
LTX Studio von Lightricks will diese Lösung sein: die gerade veröffentlichten Teaser demonstrieren genau einen solchen ganzheitlichen Ansatz. LTX Studio soll das erste Video-KI-Tool sein, mit dem sich ganze KI-Filme unter einer Oberfläche produzieren lassen sollen, angefangen mit der Storyentwicklung über die (Pre-)Produktion bis hin zur Nachbearbeitung. Hierfür integriert LTX Studio KI-Tools für Storyentwicklung, Storyboarding, Casting (in diesen Zusammenhang ist damit eine konsistente Charaktergeneration gemeint), Soundeffekte, Voiceover, Re-Lighting, Titling und automatischem Schnitt sowie natürlich - als Basis - für die Generierung von Videos.
Lightricks hat schon einige Erfahrung auf dem Gebiet der Foto- und Videobearbeitung durch KI-Apps wie Facetune, Photoleap und Videoleap, mit deren Hilfe unter anderem auch Bilder und Videos per KI generiert und manipuliert werden können. Das neue LTX Studio wird browserbasiert arbeiten und soll am 27. März offiziell vorgestellt werden. Die Nutzung soll zunächst kostenlos sein. Interessierte, die die Software ausprobieren wollen, können sich auf eine Warteliste setzen lassen.
Zur Beurteilung der Funktionen von LTX Studio ist man somit momentan noch auf die von Lightricks veröffentlichten Clips angewiesen - hier fällt allerdings auf, wie weit die Vision einer integrierten KI-Lösung für Filme und die Realität noch auseinander klaffen.
@DanaGreenAI In a world scorched by nuclear disaster, where only women survive, they wear gas masks, not just for air, but as a statement. Amidst the ruins, they fight for resources, power, and freedom. In a Mad Max inspired dystopia, witness their stylish resilience pic.twitter.com/mdnGL7wKZI
— LTX Studio (@LTXStudio) February 28, 2024
Was kann man mit LTX Studio machen? Versprechen...
Laut Lightricks soll man sowohl eine einfache Idee oder auch ein ganzes Drehbuch in eine detaillierte Videoproduktion umwandeln können. Angefangen wird mit einem Textprompt, mit dessen Hilfe LTX Studio sowohl die Handlungsfiguren als auch den Plot generiert. Dann kann das letztendliche Aussehen des Filmes und der einzelnen Szenen via Storyboard durch die Auswahl aus unterschiedlichen Bildstilen, Kamerawinkeln und Beleuchtungsarten bestimmt sowie Musik und Ton ergänzt werden. Der User kann gezielt einzelne dargestellte Objekte des fertigen Films ändern bzw. austauschen - die Änderungen sollen nahezu in Echtzeit erfolgen.
LTX Studio verspricht zwei wichtige Features, welche für kommende KI-Filmemacher unverzichtbar sind: Konsistenz und Kontrolle über die dargestellten Objekte. So soll LTX Studio Charakter und Stile erschaffen können, welche über Szenen konsistent bleiben und damit das alte Manko anderer Tools beheben, deren mangelhafte Konsistenz oft echte Erzählungen verhindert hat. Zudem soll ein Objekt auf Wunsch auch aus anderen Perspektiven dargestellt oder ausgewechselt und die Beleuchtung einer Szene nachträglich geändert werden können. Auch lassen sich gezielt KI-generierte Schauspieler in allen Szenen, in denen sie vorkommen, einfach gegen andere austauschen. LTX Studio scheint so alle mächtigen Funktionen von objektorientiertem Videoediting per KI anzubieten.
...und Wirklichkeit
LTX Studio soll also ganz klar ein umfassendes KI Video-Tool sein, doch was genau läßt sich damit produzieren? Lightricks bewirbt seine Software, als würde sie wirklich ganze Filme per KI generieren können, doch in Wirklichkeit beschränken die Grenzen der aktuellen KI-Videotechnik die Möglichkeiten stark: wie die generierten Clips zeigen, scheinen sich nur kurze Clips produzieren zu lassen, wie wir sie so ähnlich schon von anderen KI-Tools wie etwa Runway kennen: die einzelnen Szenen sind sehr kurz, um nicht schnell allzu unrealistisch zu wirken.
@creacas_ai Marcus is a gladiator and in the dimly lit room beneath the arena, he prepares for battle as he checks his gladius for the last time. He steps out into the light, seeing the vast crowd in the scorching sun, he sees his opponent and softly smiles. This day belongs to… pic.twitter.com/mgZchpaSyD
— LTX Studio (@LTXStudio) February 28, 2024
Und auch die generelle Qualität der generierten Videos entspricht nur dem Standard vor OpenAIs bahnbrechendem Sora, d.h. die Auflösung und vor allem Bewegung und Konsistenz der dargestellten Objekte innerhalb einer Szene ist noch relativ fehleranfällig. Die Bewegungen bestehen meist nur aus kurzen virtuellen Kamerafahrten oder kleinen (und eher ungelenken) Bewegungen der dargestellten Figuren, und so ähneln die einzelnen Szenen mehr animierten Bildern als einem Film.
Versprochen wird auch die automatische Erstellung von Dialogen, d.h. die entsprechende Generierung von Schauspielern samt Mimik, Mundanimation und passender Stimmgenerierung, jedoch ist in den Demos davon noch nichts zu sehen bzw. zu hören - diese nutzen nur ein - mittelmässiges - KI-Voiceover.
@okcasts A tired prisoner gazes through the steel bars of his cell, his naked upper body bearing the scars of both torture and fierce battles. Using a broken mirror fragment, he surveys the desolate and dimly-lit corridors in both directions, ensuring that no guards lurk in the… pic.twitter.com/CbKpUseXX9
— LTX Studio (@LTXStudio) February 28, 2024
Es mangelt LTX Studio momentan nicht nur offensichtlich noch an der Videoqualität, sondern auch Möglichkeiten einer tieferen Storyentwicklung - ganz abgesehen von der für einen echten, mitreissenden Film wichtigen realistischen Interaktion von Charakteren samt passender Mimik und echten Dialogen.
LTX Studio scheint im jetzigen Funktionsumfang entgegen der Selbstbeschreibung eher wie ein Zukunftsversprechen, als eine umfassende Lösung zum Erstellen von KI-Filmen. Allerdings könnte es durchaus zum Erstellen der momentan typischen KI-Kurzfilmchen oder auch für eine visuelle Konzeption (Pre-Viz) bzw. ein Storyboarding taugen.
Lightricks will vermutlich einfach früh auf dem Markt vertreten sein und hofft darauf, dank der schnellen Entwicklung von KI im Laufe der Zeit zu einem echten KI-Filmproduktionstool heranzureifen. Sehr wahrscheinlich wird ein solches integriertes Tools zur KI-Videoproduktion in Zukunft wichtig werden - dafür sorgt die rasante Entwicklung von KI-Video - doch ob LTS Studio diese sein wird oder eine noch kommende Lösung von einem Anbieter wie Runway oder OpenAI wird sich zeigen. Allerdings dürfte mit der bald veröffentlichten Version von LTX Studio die Inflation irgendwie beliebiger wirkender, einfach per KI generierter Videoclips noch weiter zunehmen.
