Dreambooth: So trainierst du dein eigenes KI-Modell für die Bildgenerierung

Der wichtigste evolutionäre Sprung in der Generierung von Bildern mit künstlicher Intelligenz ist die Erstellung personalisierter Modelle. Damit meine ich sekundäre Pakete, die spezifische Stile oder Objekte reproduzieren, aber auch verwendet werden können, um das Gesicht einer Person in einzigartige Szenarien einzufügen. Möglich wird dies durch die Plattform Dreambooth, die von Google Research und der Boston University entwickelt wurde. Die beliebteste Anwendung von DreamBooth ist heutzutage das Fine-Tuning von Modellen, die mit Stable Diffusion kompatibel sind, und heute erklären wir, wie das geht.

Grenzen überwinden

Von den drei verfügbaren Modellen für die Generierung von Bildern mit künstlicher Intelligenz hat sich Stable Diffusion als das flexibelste erwiesen. Warum? Aus zwei Gründen: Zum einen ist es kostenlos und Open Source, zum anderen versteht es sich sehr gut mit alternativen Modellen. Aber woher kommen diese Modelle? Von den Nutzern selbst, die ihre High-End-Hardware oder die kostenlosen Online-Optionen nutzen, um sie zu trainieren.

Das Problem des personalisierten Trainings oder Fine-Tunings von Stable Diffusion ist sein VRAM-Verbrauch. Ein Modell mit wenig Videospeicher zu trainieren ist fast unmöglich, aber dank der Magie von Google Colab, Google Drive, HuggingFace und dem YouTube-Kanal DotCSV können wir es heute ohne allzu große Aufregung schaffen, ohne Tausende von Euro in Hardware zu investieren. Die technischen Anforderungen werden in jedem Schritt erklärt, also überspringe nichts!

Trainiere dein eigenes Bildgenerierungsmodell mit Dreambooth

• Der erste Schritt ist, zur HuggingFace-Seite zu gehen und ein Konto zu erstellen. Es wird nur eine E-Mail-Adresse und ein Benutzername verlangt. Das ist wichtig, weil wir einen der Zugangstokens zur Plattform benötigen. Nachdem du das Konto erstellt hast, gehe zu Einstellungen -> Zugangstokens und klicke auf Neues Token. Gib einen Namen an und wähle die Funktion Schreiben. Geh nicht zu weit weg, denn du must das Token später von hier kopieren.
• Dann musst du festlegen, welche Art von Modell du trainieren möchtest, indem du eine Auswahl an Bildern triffst. Der empfohlene Durchschnitt ist 20, und sie sollten abwechslungsreich sein. Ziel ist es, einen Stil, ein Konzept, ein Format, eine Idee zu demonstrieren. Angenommen, du möchtest ein Modell, das von Polaroid-Fotos inspiriert ist. Wenn du dich nur auf Polaroid-Porträts konzentrierst, wird das Modell diese Form nie verlassen, während es ideal ist, die Details, die Fehler, die Wärme und das Vintage-Gefühl dieser Fotos zu reproduzieren.

• Der dritte Schritt ist einfach: Passe die Bilder auf eine exakte Größe von 512 x 512 Pixeln an. Das Portal Birme, über das wir kürzlich gesprochen haben, ermöglicht dir dies in Rekordzeit, indem es die Größe anpasst und überschüssige Teile beschneidet. Speichere die Bilder in einem temporären Ordner, wir werden darauf zurückkommen.
• Jetzt gehen wir in die von DotCSV konfigurierte Google-Colab-Umgebung. Meine erste Empfehlung: Hab keine Angst. Am Anfang wirkt es wie etwas, das von Außerirdischen entworfen wurde, aber tatsächlich ist es eine spartanischere Schritt-für-Schritt-Oberfläche als normal. Gehe zunächst zu «Laufzeitumgebung», dann zum Abschnitt «Laufzeitumgebungstyp ändern» und stelle sicher, dass «GPU» ausgewählt ist. Dadurch wird bestätigt, dass Google Colab eine geeignete Grafikkarte für die Aufgabe zuweisen soll.

• Die Google-Colab-Umgebung fordert uns auf, ihren Schritten zu folgen. Wir drücken die Play-Taste in Schritt 1 und akzeptieren die Warnung, um unser Google Drive mit der Umgebung zu verbinden. Google Drive sollte mindestens 4 GB freien Speicherplatz haben, und ich empfehle, ein alternatives Konto zu verwenden.
• Danach drücken wir die Play-Taste neben Abhängigkeiten. Wie der Name schon sagt, installiert dies alle notwendigen Abhängigkeiten für die korrekte Ausführung von Dreambooth. Zum Glück dauert es nicht zu lange.

• Schritt 3 aktiviert das Feld, in das wir das Token eingeben müssen, das wir bei HuggingFace erstellt haben. Ein Klick auf den Pfeil öffnet das Menü, wir kopieren das Token und fügen es in «HuggingFace_Token» ein. Ignoriere die übrigen Optionen und drücke Play. Warte, bis es fertig ist.
• Der vierte Schritt fragt nach Daten zum Training von Dreambooth, und das hängt von deinen Wünschen ab: Ist es geplant, eine Person oder ein Objekt zu trainieren? Vielleicht einen Künstler oder eine TV-Serie? Wähle die passende Option aus der Liste im Feld «Training_Subject» und ändere dann den Ausdruck in «Subject_Type» gemäß den Beispielen unten. Deine ganze Aufmerksamkeit sollte jedoch auf «Instance_name» gerichtet sein. Das ist der Platzhalter, das Schlüsselwort, das du in den Prompts verwenden wirst, um den trainierten Inhalt zu «aktivieren». Empfohlen wird ein seltenes Wort, das von Stable Diffusion nicht mit etwas anderem verwechselt wird.

• Wenn du in Schritt 4 auf Play drückst, aktiviert Google Colab eine Upload-Schaltfläche, um die Bilder hochzuladen, die als Referenz für das Training dienen. Denk daran, sie müssen 512 x 512 sein!
• Der fünfte Schritt ist optional und besonders nützlich, wenn wir Modelle von Personen erstellen. In unserem Test ist er nicht nötig, aber dort findest du fünf verschiedene Werte. «person_ddim» ist der Standardmodus, zögere nicht, ihn zu ändern, um zu experimentieren.

Und jetzt heißt es warten

Die Play-Taste in Schritt 6 startet den Trainingsprozess, und ab hier ... Geduld. Wie lange dauert es? Für ein Standardpaket mit 20 Bildern und 1.600 Schritten dauert es im Durchschnitt etwa eine Stunde, was sehr vernünftig ist, wenn man bedenkt, dass wir auf ganze Gigabyte VRAM kostenlos zugreifen. Auch die Aktivität in Google Colab und die für das Projekt konfigurierte Grafikkarte beeinflussen die endgültige Leistung.

Mit dem trainierten Modell bleiben nur noch zwei Dinge zu tun: Es online mit Schritt 7 auswerten oder die ckpt-Datei von deinem Google Drive herunterladen, um sie offline mit Automatic1111 auszuführen. Vergiss nicht, dein Schlüsselwort zu den Prompts hinzuzufügen, sonst wirst du nie korrekte Ergebnisse unter den generierten Bildern sehen.

Zusammenfassend ist Dreambooth ein äußerst leistungsfähiges Werkzeug, aber es erfordert einige Stunden Übung. In manchen Fällen ist das Training nicht ganz zufriedenstellend, und du musst es möglicherweise mit einem anderen Bildsatz erneut versuchen. Lass dich nicht entmutigen!

HuggingFace: Klicke hier

Dreambooth in Google Colab: Klicke hier