News: Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten

Scan per Luma AI App

Wir hatten schon früher öfter über über Neural Radiance Fields (NeRFs) berichtet, die zugrundeliegende KI-Technologie von LumaAI - wie etwa Nvidia Instant NeRF oder Googles NeRF in the Wild - virtuelle Kamerafahrten aus Photos. Unseres Wissen ist LumaAI aber das erste Projekt, welches NeRFs in Form einer Smartphone-App einem großen Kreis von Usern allgemein zugänglich machen wird.

(Quelle Twitter @Erisdraw3D)

NeRFs per Rundum-Video

Anders als vorherige NeRF-Methoden benötigt Luma AI nicht eine Vielzahl von Photos als Input, sondern einen Videorundgang um das gewünschte Objekt. Das Objekt kann nach erfolgtem Capturing und dessen Verarbeitung dann sowohl in seiner Umgebung als auch isoliert von allen Seiten interaktiv betrachtet werden - sogar Zoomfahrten in das Objekt sind (begrenzt) möglich, oder auch synthetisierte Photos aus beliebigen Perspektiven. Ebenso kann die App eine 360°-Ansicht eines Raumes generieren, welcher dann mittels eines virtuellen 360° Kameraschwenks angeschaut werden kann. Laut einem der Entwickler dauert die Generierung einer 3D-Ansicht (welche online per Cloud erfolgt) eines Raumes allerdings noch ca. 30 Minuten.

Die Anwendungsmöglichkeiten einer solchen App sind zahlreich - so kann das 3D-Objekt dann zum Beispiel in einem 3D-Modelingprogramm wie Blender oder einer Game-Engine wie Unreal weiter editiert, in einer bestimmten Ansicht als Photo exportiert oder in Augmented oder Virtual Reality Umgebungen importiert werden.

LumaLabsAI (nicht zu verwechseln mit LumaFusion, den Machern der mobilen beliebten Videoschnitt-App LumaTouch) wurde erst vor rund einem Jahr von Ingenieuren gegründet, welche vorher in Apples AR- und Computer Vision-Gruppe gearbeitet haben. Um die resultierenden 3D-Modelle im Netz präsentieren zu können, plant das Unternehmen, einen eigenen einbettbaren Player für seine Produkte zu entwickeln, der es zum Beispiel Onlineshops ermöglicht, interaktive dreidimensionale Ansichten eines Produkts anzubieten.

Virtuelle Filmproduktionen

LumaLabsAI hat aber auch spezifische, die Filmproduktion betreffende Anwendungsgebiet im Blick: so soll ein Plugin für Unreal entwickelt werden, welches den direkten Import von per Luma AI gescannten Umgebungen und Objekten ermöglicht, um in virtuellen Filmproduktionen eingesetzt zu werden, zum Beispiel für In-Camera-VFX oder virtuelles Location Scouting.

Im folgenden Video ist zu sehen, wie die Luma AI App funktioniert: in einer Augmented Reality Ansicht des Live-Kamerabildes kann der User in der App eine virtuelle 3D-Box um ein Objekt ziehen, welches gecapturet werden soll. Dann muss man im Kreis gehen, die Kamera immer auf das Objekt gerichtet, um Ansichten aus allen Seiten einzufangen.

Zusammen mit Algorithmen wie DreamFusion, welches die Generierung von 3D Modellen nur nach Textbeschreibung ermöglicht, ergeben sich immer mehr Möglichkeiten, 3D-Modelle einfach zu einzusetzen. LumaAI wird mit Sicherheit nicht die einzige Anwendung bleiben, welche NeRFs zur Synthese von 3D-Modellen aus Videos oder Photos nutzt - wir dürfen gespannt sein auf die nächsten Apps.