News: Nvidia Magic3D - beliebige 3D-Objekte durch Textbeschreibung erzeugen

29.11.2022 - 11:16 Uhr

Letzten Freitag kamen Forscher von Nvidia mit einem weiteren Meilenstein der KI-Entwicklung an die Öffentlichkeit: Das neue Tool Magic3D kann komplette 3D-Modelle aus einer einfachen Textbeschreibung erzeugen. In dem zugehörigen Paper beschreibt Nvidia einen zweistufigen Prozess, der ein grobes, in niedriger Auflösung erzeugtes Modell nimmt und es für eine höhere Auflösung optimiert.

Laut den Autoren des Papiers kann die daraus resultierende Magic3D-Methode 3D-Objekte zweimal schneller erzeugen als DreamFusion. Nach einer Eingabe wie beispielsweise "Ein silbernes Tablett auf dem sich Früchte stapeln" erzeugt Magic3D in etwa 40 Minuten ein 3D-Mesh-Modell mit farbiger Textur (auf acht NVIDIA A100 GPUs). Das ist doppelt so schnell wie ein ähnliches DreamFusion-Projekt von Google.

Nvidia Magic3D erzeugt aus einem Satz ein 3D-Modell mit Textur
Nvidia Magic3D erzeugt aus einem Satz ein 3D-Modell mit Textur

Magic3D kann auch 3D-Modelle umkonstruieren. Dies funktioniert am besten mit dem (relativ schnell erzeugten) niedrig aufgelösten 3D-Modell indem man an dem Basis-Prompt feilt. Zudem demonstrieren die Autoren von Magic3D, wie man dasselbe Motiv über mehrere Generationen hinweg beibehält (ein Konzept, das oft als Kohärenz bezeichnet wird) und wie man den Stil eines 2D-Bildes (z. B. eines kubistischen Gemäldes) auf ein 3D-Modell anwendet.

Selber ausprobieren kann man das ganze allerdings noch nicht, denn mit der wissenschaftlichen Arbeit wurde (noch?) kein Code veröffentlicht. Da Magic3D aktuell auch noch sehr viel GPU-Leistung benötigt, um in akzeptabler Zeit zu einem Modell zu gelangen, ist eine Version für den heimischen Rechner allerdings sowieso nur bedingt sinnvoll.

Nvidia kündigte jedoch an, dass man die Modelle direkt ins eigene Omniverse einbinden und dort benutzen kann. Es ist daher stark anzunehmen, dass Nvidia auf jeden Fall eine Online-Version des Tools anbieten wird, um beliebige Gegenstände schnell in Digital Twin Welten als 3D-Objekte bereitstellen zu können.Alternative Entwicklungen aus der Ecke von Stable Diffusion sind jedoch auch schon auf dem Weg...

!

(rudi)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

8.Februar 2023 - 16:27 Uhr
Kompakter und mit neuem Fokusmotor: SIGMA 50mm F1.4 DG DN | Art Standard-Objektiv vorgestellt

8.Februar 2023 - 14:50 Uhr
Neue Firmware für Sigma fp und fp L Kameras bringt EL ZONE Farbmodus, Support für 4TB SSDs und Atomos Cloud

8.Februar 2023 - 11:03 Uhr
Canon stellt EOS R50 DSLM mit APS-C Sensor für 829,- Euro vor

8.Februar 2023 - 10:42 Uhr
Canon EOS R8 - Vollformat Hybrid Kamera mit 10 Bit Log unter 2000 Euro



weitere News: