News: Neuer Algorithmus ermöglicht eigene Objekte in KI-generierten Bildern

15.9.2022 - 12:59 Uhr

In rasendem Tempo geht die Entwicklung der textbasierten Bildgenerierung per KI weiter und ermöglicht immer weitere, praktische Funktionen. So hat jetzt ein Team von Forschern von Nvidia und der Universität Tel Aviv einen neuen Algorithmus vorgestellt, der die bisherige Funktionalität um die Möglichkeit erweitert, eigene Objekte in die Bildsynthesen zu integrieren. So lassen sich ganz spezifische Objekte (wie zum Beispiel die eigene Katze oder das eigene Auto) in den erzeugten Bildern nutzen.

!

Dazu gibt man dem "Textual Inversion" (oder auch "Personalized Text-to-Image Generation") getauften Algorithmus einige unterschiedliche Bilder des gewünschten Objektes (optimal sind 3-5 Stück) und trainiert ihn damit. Wird dieses neue Trainingsmaterial daraufhin in das Modell einer Bild-KI importiert, kann es mittels eines besonderen Kennworts (analog zu einer Variable) aufgerufen und in Texteingaben genutzt werden.

!

Das kann außerdem dazu genutzt werden, um in einem vorgegebenen Bild das eigene Objekt einfach per Text zu manipulieren, etwa um seine Farbe gezielt zu ändern, es in einer anderen Umgebung oder Malstil darzustellen, es in eine Statue oder ähnliches zu verwandeln. Der neue Algorithmus gibt damit einen Vorgeschmack auf die zukünftigen Möglichkeiten dder objektbasierten KI-Bildbearbeitung (und bald auch Videoediting) per Text.

Doch nicht nur spezielle Objekte lassen sich per Kommando in die KI-generierten Bilder einfügen. Auch abstraktere Konzepte wie etwa ein abstrakter Malstil (bzw. Look) kann der KI antrainiert werden, der dann eingesetzt werden kann, um Bildern einen spezifisches Aussehen zu verpassen.

So wird im folgenden Beispiel der Textual Inversion Algorithmus etwa mit einer kopflose Statue im Schneidersitz trainiert - diese kann dann in anderen Stilen (u.a. als Ölgemälde, Icon oder auch als Häkelfigur) reproduziert werden.

!

Und dank der sehr aktiven Community rund um den jüngst veröffentlichten, quelloffenen KI-Bildgenerator Stable Diffusion ist die Textual Inversion Funktion ( hier der zugehörige Programmcode ) auch schon integriert in eine spezielle Version von Stable Diffusion sowie die Web UI Version mit graphischem Benutzerinterface. Die Funktion ist allerdings noch rudimentär und erfordert etwas Programmierkenntnisse und eine leistungsstarke GPU. Interessanterweise hat ein Team von Google nahezu zeitgleich ein DreamBooth getauften Algorithmus entwickelt, der ähnliches leistet.

!
(thomas)

mehr Informationen
Kommentare lesen / schreiben

zur Newsmeldung auf slashCAM

   


die Seite in Desktopansicht

Passende News:

 

Top

AKTUELLE ARTIKEL

AKTUELLE NEWS

8.Februar 2023 - 16:27 Uhr
Kompakter und mit neuem Fokusmotor: SIGMA 50mm F1.4 DG DN | Art Standard-Objektiv vorgestellt

8.Februar 2023 - 14:50 Uhr
Neue Firmware für Sigma fp und fp L Kameras bringt EL ZONE Farbmodus, Support für 4TB SSDs und Atomos Cloud

8.Februar 2023 - 11:03 Uhr
Canon stellt EOS R50 DSLM mit APS-C Sensor für 829,- Euro vor

8.Februar 2023 - 10:42 Uhr
Canon EOS R8 - Vollformat Hybrid Kamera mit 10 Bit Log unter 2000 Euro



weitere News: