Ein neuer KI-Dienst, mit welchem sich Videos in acht verschiedene Sprachen übersetzen lassen, wobei auch die Lippenbewegungen des Sprechenden angepasst werden, macht seit ein paar Tagen die Runde. Im Grunde ist die Sache nicht neu, doch HeyGen Video Translate (noch in Beta) macht die Anwendung extrem einfach - das zu übersetzende Video wird einfach per Drag/Drop hochgeladen und nach einer Wartezeit steht das neue Video bereit.
HeyGen setzt wie es scheint auf Technologie von ElevenLabs, um den Klang der Originalstimmen in einer anderen Sprache zu generieren, während die Übersetzung vermutlich von ChatGPT stammt. Ob die veränderten Mundbewegungen In-House entstehen (à la Deepfake), ist nicht ganz klar. Ursprünglich stellt HeyGen digitale Avatare zur Verfügung, die in Videos genutzt werden können und dort einen gewünschten Text vortragen (AI spokesperson video creator).
Funktionieren tut das automatische Dubben mit der Originalstimme ziemlich gut. Die Textübersetzung klingt an manchen Stellen allerdings fehlerhaft oder unbeholfen, wie im folgenden Video ab ca. 1:50 bei der Version auf deutsch zu hören ist (dort ist zB. von einem "Vokalübersetzer" die Rede). Leider gibt es keine Möglichkeit, die Übersetzung selbst zu korrigieren. Die Lippenbewegung ist ebenfalls nicht perfekt, sondern sieht leicht unsynchron aus, dazu wird das Bild aufgehellt.
Laut HeyGen sollten die zu übersetzenden Videos möglichst nur einzelne Personen zeigen und wenig störende Geräusche im Hintergrund aufweisen. Unterstützt wird MP4, Quicktime und WebM in Auflösungen zwischen 360x360 und 4096x4096. Die Clips müssen ferner mindestens 30s lang sein, die maximale Länge liegt bei 5 Minuten oder 500MB.
Die Nutzung von HeyGen Video Translate ist probeweise kostenlos, man muss sich jedoch anmelden. Dann bekommt man einmalig 2 Credits zur Verfügung gestellt, die insgesamt für die Übersetzung von 2 Videominuten reichen; abgerechnet wird im 30-Sekundentakt. Danach gibt es verschiedene Abo-Pläne für 15 bis 120 Credits pro Monat, wobei ein Credit bei jährlicher Abrechnung 1,60 Dollar kostet. Wer einen bezahlten Account hat, wird in der Warteschlange für die Videoausspielung bevorzugt.
Im Mai hatte Google ja einen "Universal Translator" vorgestellt, der ziemlich genau die jetzt von HeyGen gebotene Funktionalität für YouTube-Videos bieten wird, jedoch noch nicht frei zugänglich ist.
