News: AnimateAnyone - Foto und animierte Pose macht Video

1.12.2023 - 14:24 Uhr

Gerade geistern mehrere Videos durch diverse KI-Gruppen, die vielleicht einen weiteren Meilenstein in der generativen KI-Video-Welt darstellen.

Kurz gesagt, hinter dem Video steht ein neues KI-Modell, welches es erlaubt, aus einem Standbild über Vektor Posen ein animiertes Video zu erstellen. Ab besten ihr schaut euch das Projekt-Video einmal selbst an:

Noch sind im Netz allerdings Zweifel groß, dass hier alles mit rechten Dingen zugeht - denn eine derart realistische Animation von fotorealistischem Ausgangsmaterial gab es bis heute noch nicht. Und das Projekt hat noch keinen Code veröffentlicht.

Doch das bereits vorliegende Paper gibt vielleicht schon den entscheidenden Hinweis darauf, wie die extrem gute und konsistente Qualität erreicht werden kann:

"Um die Konsistenz komplizierter Erscheinungsmerkmale aus dem Referenzbild zu erhalten, entwickeln wir ReferenceNet, um Detailmerkmale durch räumliche Aufmerksamkeit zusammenzuführen. Um Kontrollierbarkeit und Kontinuität zu gewährleisten, führen wir einen effizienten Pose-Guider ein, um die Bewegungen des Charakters zu steuern, und setzen einen effektiven zeitlichen Modellierungsansatz ein, um sanfte Übergänge zwischen Videobildern zu gewährleisten. Durch die Erweiterung der Trainingsdaten kann unser Ansatz beliebige Charaktere animieren, was zu besseren Ergebnissen bei der Charakteranimation im Vergleich zu anderen Bild-zu-Video-Methoden führt."

!

Einfach gesagt: Es muss vor dem Einsatz das Modell mit den gewünschten Output Modellen nachtrainiert, also "ge-finetuned" werden. Zumindest könnte man so "Erweiterung der Trainingsdaten" verstehen.

Es dürfte jedoch nicht mehr allzu lange dauern, bis die Community über die Github-Projektseite Zugang zum Code bekommt. Und dann werden wir sehen, ob das Animieren von fotorealistischem Material bald durch eine einfache digitale Gliederpuppe möglich sein wird.

(Rudi Schmidts)

mehr Informationen

Kommentare lesen/schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

25. 2024 - 11:45 Uhr
Sony PDT-FP1 - stabile und einfache Datenübertragung beim Dreh

24. 2024 - 12:00 Uhr
Elevenlabs bietet demnächst auch KI-generierte Soundeffekte an

23. 2024 - 18:35 Uhr
SmallRig bringt umfassendes Retro-Zubehörsystem für Fujifilm X100VI

23. 2024 - 10:46 Uhr
Blackmagic URSA Broadcast G2 mit Cloud Upload und geringerer SDI-Latenz



weitere News: