Um diese eher groben Analysedaten von TV-Aufzeichnungen für die exakte Animation von 3D-Charakteren zu nutzen - wie zum Beispiel das Treffen eines Balles mit dem Tennisschläger - müssen erst einige zusätzlich Schritte durchgeführt werden. So wird zuerst die Bewegung der Spieler in den Videobildern geschätzt, dann werden anhand eines physikalischen Modells des menschlichen Bewegungsapparates die Daten korrigiert.
Ein neuronales Netz lernt dann anhand dieser Daten die für den jeweiligen Sport - wie hier Tennis - typischen Bewegungssequenzen. Ein ankommender Ball kann so beispielsweise per korrekter Schlägerführung zu verschiedenen Zielpunkten geschlagen werden. Diese Sequenzen werden dann von einem speziellen Kontrollalgorithmus zu sinnvollen Aktionen "zusammengesetzt" und so zwei physisch simulierte Charaktere synthetisiert, die beliebige ausgedehnte Ballwechsel inklusive korrekt simulierter Schläger- und Balldynamik spielen.
Das System kann mittels der gelernten Daten Tennisspieler simulieren, die den ankommenden Ball mit einer Vielzahl von Schlagvariationen wie Aufschlag, Vorhand und Rückhand, Spins (Topspins und Slices) und Spielstilen (ein-/zweihändige Rückhand, Links-/Rechtshänder) präzise an die Zielpositionen schlagen können. Es können auch verschiedene Spielertypen wie etwa Links-, Rechts oder Beidhänder korrekt simuliert werden.
Der neue Algorithmus demonstriert, wie nur anhand von normalen Videos gute 3D-Modelle von Menschen samt Bewegungsvektoren simuliert werden können, hier am Beispiel von Tennis demonstriert. Das geht natürlich auch mit anderen Sportarten oder spezifischen Bewegungsmustern und könnte in Zukunft ebenso für Spiele wie für Animationen genutzt werden.
mehr Informationen
Kommentare lesen / schreiben
Passende News:
- Die Paragraphica KI-Kamera ist da: Bilder ohne Objektiv von der Umgebung durch KI aufnehmen?
- AMDs neue Adrenalin Treiber 23.5.1 verdoppeln Rechenleistung in Stable Diffusion
- Aktuelle Sparangebote für Kameras und Objektive von Panasonic, OM, Fujifilm und Tamron
- Atomos unterstützt neue ProRes RAW-Plug-ins
- Microsoft Olive: Neues kostenloses Tool verdoppelt Performance von Stable Diffusion
- Neue Fuji-X Objektive: Voigtländer Ultron 27mm f2.0 und Tamron 11-20mm F/2.8
- HyliumX: Neue Drohe bleibt mehr als 5 Stunden in der Luft - dank Wasserstoff
- Rabattaktionen im Sommer 2023: Sparen bei Kameras und Objektiven von Sony, Fujifilm und Zeiss
- Apple M3-Macs erst zum Jahreswechsel für neue MacBooks und iMacs
- Per DeepFake zum Multisprachler: Google entwickelt Übersetzungs-KI zum Dubben von Videos
- Abgehoben - Flugaufnahmen mit Super-8 von der Drohne aus
- Komodo-X: RED teasert neue Super35-Kamera