Generative KI: Googles StyleDrop lernt und imitiert Stil nach einem einzigen Bild

News: Generative KI: Googles StyleDrop lernt und imitiert Stil nach einem einzigen Bild

5.6.2023 - 11:09 Uhr

Mit StyleDrop stellt ein Team von Google Research ein neues KI-Modell vor, das die Generierung von Bildern erm�glicht, die einen bestimmten Stil �u�erst exakt nachahmen. Bisherige Modelle leiden oft an der fehlenden Steuerbarkeit der Ergebnisse. Man bekommt zwar oft etwas "Sehenswertes" in hoher Qualit�t, jedoch nicht unbedingt das, was man sich urspr�nglich vorgestellt hatte. Auch muss der Stil bereits im Modell eintrainiert worden und somit a priori bekannt sein, damit eine entsprechende Ausgabe �berhaupt funktionieren kann.

StyleDrop kann dagegen enorm effizient neue Stilformen lernen, indem es sehr wenige trainierbare Parameter (weniger als 1 % der gesamten Modellparameter) fein abstimmt und die Qualit�t durch iteratives Training mit menschlichem oder automatischem Feedback verbessert. Noch besser ist, dass StyleDrop selbst dann beeindruckende Ergebnisse liefert, wenn der Benutzer nur ein einziges Bild zur Verf�gung stellt, das den gew�nschten Stil vorgibt.

Googles StyleDrop lernt und imitiert Stil nach einem einzigen Bild

Angetrieben von Muse, einem neuen generativen Text-zu-Bild Vision-Transformer, erfasst StyleDrop dabei Nuancen und Details eines vom Benutzer vorgegebenen Stils, wie Farbschemata, Schattierungen, Designmuster sowie lokale und globale Effekte.

Vergleiche im verlinkten Paper belegen, dass Styledrop auf Muse bei der Stilanpassung von Text-Bild-Modellen andere Methoden wie DreamBooth und Textual Inversion auf Imagen oder Stable Diffusion in der Regel deutlich �bertrifft.

Googles StyleDrop im Vergleich mit anderen KIs

Auch mit Text scheint Style Drop zuverl�ssig(er?) umgehen zu k�nnen, als die aktuellen generativen KI-Modelle. Zumindest gibt es auch hierzu beeindruckende Ergebnisse zu sehen, wenn man die zugeh�rige Projektwebseite durchst�bert.

Leider kann man Style Drop noch nicht selbst ausprobieren, jedoch ist sehr stark zu erwarten, dass Google solche Projekte in sehr naher Zukunft f�r Anwender in der Cloud zur Verf�gung stellen wird. Alleine schon, um nicht den Anschluss an Microsoft oder Adobe zu verlieren.