News: Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung vorgestellt

23.11.2023 - 09:07 Uhr

Natürlich war es nur eine Frage der Zeit, bis auch das Stable Diffusion Team ein eigenes KI-Modell für Bewegtbilder ins Rennen schicken würde und dieser Tag ist nun gekommen. Stable Video Diffusion (SVD) Image-to-Video ist ein Latent Video Diffusion Modell (Video-LDM), das aus einem Standbild als Input einen kurzen Videoclip generieren kann.

Zum Start wurden auf Hugging Face zwei SVD-Modelle vorgestellt, die primär für Forschungszwecke vorgesehen sind. Sie sind zwar noch nicht auf Fotorealismus getrimmt worden. Im Gegensatz zu geschlossenen, kommerziellen Modellen wie RunwayML, sind die Stability AI Modelle jedoch dafür frei für jedermann einseh- und nutzbar.

Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung
Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung

Wer sich zu den näheren Details des Modells informieren möchte findet hier ein entsprechendes PDF sowie hier den direkten Zugang zum Code auf Github.

Die zwei Modelle selbst stehen auf Huggin Face hier und hier zum Download bereit. Technisch unterscheiden sich beide Modelle vor allem durch in der Anzahl der erzeugten FPS (14 bzw. 25) bei einer Auflösung von 576 x 1024 Pixeln.

Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung
Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung

Nach ersten Informationen wird eine GPU mit mindestens 40 GB VRAM benötigt, um die neuen Modelle selbst installieren und nutzen zu können. Allerdings gibt es bereits Stimmen aus dem Netz, die behaupten, auch mit 24 GB Ergebnisse zu bekommen. Inwieweit hierfür die Auflösung und Framraten eingeschränkt werden müssen/können ist jedoch noch nicht klar. Die Gewichte selbst haben "nur" eine Größe von ca. 10 GB. Insofern gibt es noch Hoffnung, dass man in naher Zukunft auch mit entsprechenden Wartezeiten auf dem eigenen PC mit Consumer-GPUs experimentieren kann.

(Rudi Schmidts)

mehr Informationen

Kommentare lesen/schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

25. 2024 - 11:45 Uhr
Sony PDT-FP1 - stabile und einfache Datenübertragung beim Dreh

24. 2024 - 12:00 Uhr
Elevenlabs bietet demnächst auch KI-generierte Soundeffekte an

23. 2024 - 18:35 Uhr
SmallRig bringt umfassendes Retro-Zubehörsystem für Fujifilm X100VI

23. 2024 - 10:46 Uhr
Blackmagic URSA Broadcast G2 mit Cloud Upload und geringerer SDI-Latenz



weitere News: