Kürzlich regte OpenAI mit seiner ersten Video-KI für großes Aufsehen. Die von Sora generierten Clips sind um Längen besser - und damit auch realistischer - als bisherige, aus Textprompts erstellte Videos. Allerdings sind sie stumm, denn eine Tonspur errechnet Sora nicht dazu - eine frappante Parallele zur Frühzeit des Kinos, wie wir finden. Denn vor 130 Jahren, als mit den ersten Kameras bewegte Bilder eingefangen wurden, ließen sich Schallwellen bekanntlich nicht mit dem gleichen Verfahren auf Zelluloid bannen; auch diese Bilder blieben stumm.
Man behalf sich damals mit musikalischer (Live-)Begleitung und sogar gelegentlichen Geräuscheffekten, und genau dies passiert natürlich auch heute. Und was wäre naheligender, als KI-Clips mit KI-Sounds zu unterlegen?
Dafür bringt sich Elevenlabs in Stellung, jenes Unternehmen, dessen breites Repertoir an synthetischen KI-Stimmen bereits professionellen Sprechern Konkurrenz macht. Auch ein Dubbing-Service per KI ist dort mittlerweile im Angebot. "AI Sound Effects" soll nun ein weiterer KI-Dienst werden, über den sich mit einfachen Textprompts Geräusche generieren lassen. Wie dies klingt, führt Elevenlabs passenderweise gleich an einigen von Sora erstellten Szenen vor:
We were blown away by the Sora announcement but felt it needed something...
— ElevenLabs (@elevenlabsio) February 18, 2024
What if you could describe a sound and generate it with AI? pic.twitter.com/HcUxQ7Wndg
Wenn man im Schnitt sitzt und seine Bilder mit einigen SoundFX oder einer passenden Geräuschkulisse aufpeppen möchte, dürfte die Möglichkeit willkommen sein, sich über ein kurzes Textprompt die fehlenden Töne selbst erstellen zu können. Als Vorgehen zur Nachvertonung von KI-Stummfilmen dagegen kommt uns Text-zu-SoundFX jedoch eher wie eine Zwischenlösung vor. Deutlich praktischer wäre Video-zu-SoundFX, also eine maßgeschneiderte, komplett automatisch gestrickte Tonbegleitung eines gegebenen Videos. Mit den heutigen multimodalen KI-Modellen sollte es nicht lange dauern, bis dies möglich wird.
Wann die neue Elevenlabs AI Sound Effects Funktion zur Nutzung freigeschaltet wird und was es kosten wird, sich dort künstliche Geräusche errechnen zu lassen, ist noch nicht bekannt.
Eine ähnliche Funktionalität bietet wie berichtet auch beispielsweise das Open Source KI-Tool AudioDLM.
