Stable Diffusion – Dreambooth Training Finetuning einrichten Teil 1/2

Ich wollte ein Stable Diffusion Netz trainieren das Bilder der Antipersonen Mine PFM-1 erzeugen kann. Diese Mine ist von russischer Bauart und verletzt überwiegend Zivilisten in vielen Ländern dieser Welt. Da die Mine selber schwer zu erkennen ist kam mir der Gedanke mit Stable Diffusion Bilder zu erzeugen die für das Testen eines auf das Erkennen dieser Mine spezialisierten neuronalen Netzes genutzt werden können. Da Stable Diffusion sicher nicht die exakte Geometrie der Mine wiedergeben wird bzw. generieren kann könnten solche Bilder dennoch für das Testen von False positive Erkennungen genutzt werden.

So habe ich mich daran gemacht Dreambooth unter Automatic1111 einzurichten und mein erstes eigenes auf diesen Minentyp hin trainiertes Netz zu trainieren. Ein solches Bild das ich mit Stable Deffusion dann erzeugen konnte seht ihr im nachfolgenden Bild.

PFM-1 mine stable diffusion generated

Das Ergebnis sah mit der geringen Anzahl an Bildern die ich aus dem Internet hatte schon einmal ganz gut aus. Im jetzt folgenden Abschnitt geht es um das Einrichten von Dreambooth unter Automatic1111.

Dreambooth Installation

Im Grunde ist die Installation von Dreambooth unter Automatic1111 sehr schnell gemacht. Dazu startet ihr zunächst einmal Automatic1111 und öffnet die Weboverfläche. Anschließend wechselt ihr auf den Reiter “Extensions” rechts oben im Menü.

Automatic1111 Stable Diffusion – installation finished

Nach dem ihr auf den Reiter “Extensions” geklickt habt sehr ihr folgendes Menü. Hier klickt ihr jetzt auf den Reiter “Available” um einen Überblick zu erhalten welche Erweiterungen alles verfügbar sind.

Automatic1111 Stable Diffusion – Dreambooth installation tab extensions

Das Menü das ihr jetzt seht zeigt einen großen Button mit der Bezeichnung “Load from”. Auf diesen Button drückt ihr um die Liste mit allen Erweiterungen einmal zu laden bzw. zu aktualisieren. Anschließend solltet ihr eine Liste wie die folgende Angezeigt bekommen.

Automatic1111 Stable Diffusion – Dreambooth installation available extensions

In dieser Liste sucht ihr jetzt einfach nach dem Eintrag “Dreambooth” und klickt rechts daneben den Knopf “Install” an um diese Erweiterung zu installieren.

Automatic1111 Stable Diffusion – Dreambooth installation install extensions

Die Installation läuft jetzt voll automatisch ab und ihr müsst nichts mehr machen auser warten bis diese abgeschlossen ist. Die Anzeige des Fortschrittes der Installation ist etwas schwer zu sehen aber dieser wird rechts oben von der Liste angezeigt.

Automatic1111 Stable Diffusion – Dreambooth installation install progress

Anschließend wenn die Installation abgeschlossen ist, startet ihr Automatic1111 neu. Jetzt seht ihr auf dem Webinterface von Automatic1111 einen Dreambooth Tab. Klickt auf diesen Tab und dann sollte das Menü in etwa wie im folgenden Screenshot gezeigt aussehen.

Automatic1111 Stable Diffusion – Dreambooth tab

Über diese Oberfläche erfolgt jetzt die Konfiguration des Trainings und natürlich das Training selber.

Xformers Erweiterung fehlt

Erscheint bei euch beim Starten von Automatic1111 die Meldung das Xformers nicht installiet ist, dann hilft euch diese Anleitung auf der Dreamtbooth Seite hoffentlich weiter. Ich bin dieser Anleitung gefolgt und konnte so Xformers ohne Warnung oder Fehlermeldung installieren. Starte ich jetzt Automatic1111 erscheitn die Meldung nicht mehr. Allerdings auf dem Web-Interface erscheint ganz am Ende unten noch die Meldung das Xformers nicht verfügbar ist. Gebt mir doch Feedback wenn ihr das Problem lösen konntet dann ergänze ich eure Lösung hier gerne.

URL: Building xformers on Linux (from anonymous user)

Zusammenfassung

Es ist schon wirklich sehr beeindruckend wie einfach alles von der Hand geht. Ich hätte nicht gedacht so schnell als Anwender einen Einstieg in das Thema Stable Diffusion mit einem für mich angepassten neuronalen Netz zu finden. Natürlich braucht man die notwendige Hardware damit das ganze auch Freude macht und man nicht Tage lang warten muss auf das Ergebnis. Aber mit einer entsprechenden NVIDIA Grafikkarte aus der Famile der 30XX oder neuer geht das Training wirklich fix. Natürlich muss man jetzt erst einmal Erfahrungen sammeln wie das Training am besten Konfiguriert wird aber nach ein paar Versuchen hat es bei mir ganz gut geklappt.

Hier geht es zum Teil 2/2

Artikelübersicht - Stable Diffusion: