Das neue KI-Tool Track-Anything eines Teams der Visual Intelligence & Perception Lab Abteilung der chinesischen Southern University of Science and Technology in Shenzen macht genau das. Es ist ein flexibles und interaktives Werkzeug fürs Tracking und Segmentierung von Videoobjekten. Es wurde auf der Grundlage von Segment Anything entwickelt und ermöglicht Usern, nur per Klick Objekte auszuwählen, welche getrackt und maskiert werden sollen. Während des Trackings können die Benutzer die zu verfolgenden Objekte flexibel ändern oder auch den zu analysierenden Bereich korrigieren, falls es Probleme beim Tracking gibt.
Track-Anything verfolgt dabei Objekte nicht nur von Einzelbild zu Einzelbild, sondern erkennt sie auch szenenübergreifend, wie schön auf dem folgenden Demovideo anhand einer Szene aus "Avengers Civil War" zu sehen ist:
Es können auch mehrere Objekte gleichzeitig maskiert und getrackt werden - zudem kann per Inpainting ein getracktes Objekt aus dem Video entfernt werden:
Es gibt auch eine interaktive Demo auf Hugginface, mit deren Hilfe man ein eigenes Video oder einen der Beispielclips manipulieren kann. Da dort aber oft zu wenig GPU-Power zur Verfügung steht, ist der Einsatz auf dem eigenen PC oder Cloud-Space - eine starke GPU vorausgesetzt - verlässlicher.
mehr Informationen
Kommentare lesen/schreiben
Passende News:
- PIKA 1.0 angekündigt - Generative KI-Videos mit erstaunlicher Qualität
- Meta Emu Video / Edit - verbessert Konsistenz in generativen KI Videos
- KI-Videos: Runway Gen-2 macht weiteren Qualitätssprung nach Update
- Vergiftete Bilddaten als Kopierschutz - neues Tool soll KI-Training sabotieren
- Panasonic kündigt neues Firmware-Updates für LUMIX S5II- und S5IIX an
- Neues von AJA: HDR Image Analyzer 12G Update, Kona X und 12G-SDI-openGear-Karten
- Neues im Avid Media Composer 2023.8 - u.a. Transkription und Classic Layout
- Flood the Zone with Videoshit? Ki schreibt, gestaltet und produziert Videos in Minuten
- ARRI: Neues Online Vergleichs-Tool für Looks und Textures, CCM-1 an der ALEXA 35 u.a.
- Längere KI-Videos: Runway Gen-2 generiert jetzt bis zu 18-sekündige Clips
- Nvidia Perfusion - Personen und Objekte in KI-Modelle einfach einbringen
- Rode: Neues Ladecase für Wireless GO II - TX-Module für ME und GO II jetzt einzeln erhältlich