Letzten Freitag kamen Forscher von Nvidia mit einem weiteren Meilenstein der KI-Entwicklung an die Öffentlichkeit: Das neue Tool Magic3D kann komplette 3D-Modelle aus einer einfachen Textbeschreibung erzeugen. In dem zugehörigen Paper beschreibt Nvidia einen zweistufigen Prozess, der ein grobes, in niedriger Auflösung erzeugtes Modell nimmt und es für eine höhere Auflösung optimiert.
Laut den Autoren des Papiers kann die daraus resultierende Magic3D-Methode 3D-Objekte zweimal schneller erzeugen als DreamFusion. Nach einer Eingabe wie beispielsweise "Ein silbernes Tablett auf dem sich Früchte stapeln" erzeugt Magic3D in etwa 40 Minuten ein 3D-Mesh-Modell mit farbiger Textur (auf acht NVIDIA A100 GPUs). Das ist doppelt so schnell wie ein ähnliches DreamFusion-Projekt von Google.
Magic3D kann auch 3D-Modelle umkonstruieren. Dies funktioniert am besten mit dem (relativ schnell erzeugten) niedrig aufgelösten 3D-Modell indem man an dem Basis-Prompt feilt. Zudem demonstrieren die Autoren von Magic3D, wie man dasselbe Motiv über mehrere Generationen hinweg beibehält (ein Konzept, das oft als Kohärenz bezeichnet wird) und wie man den Stil eines 2D-Bildes (z. B. eines kubistischen Gemäldes) auf ein 3D-Modell anwendet.
Selber ausprobieren kann man das ganze allerdings noch nicht, denn mit der wissenschaftlichen Arbeit wurde (noch?) kein Code veröffentlicht. Da Magic3D aktuell auch noch sehr viel GPU-Leistung benötigt, um in akzeptabler Zeit zu einem Modell zu gelangen, ist eine Version für den heimischen Rechner allerdings sowieso nur bedingt sinnvoll.
Nvidia kündigte jedoch an, dass man die Modelle direkt ins eigene Omniverse einbinden und dort benutzen kann. Es ist daher stark anzunehmen, dass Nvidia auf jeden Fall eine Online-Version des Tools anbieten wird, um beliebige Gegenstände schnell in Digital Twin Welten als 3D-Objekte bereitstellen zu können.Alternative Entwicklungen aus der Ecke von Stable Diffusion sind jedoch auch schon auf dem Weg...
