Sie erinnern sich vielleicht an den Anfang des Sommers, als wir über Vito Platamura berichteten, den Mastermind, der es geschafft hat, Stable Diffusion 1.5 auf einem zu betreiben Raspberry Pi Zero 2 W. Heute freuen wir uns, ein Update zum Projekt zu veröffentlichen. Plantamura hat das Projekt erweitert, um Stable Diffusion XL 1.0 zu unterstützen, und es erfolgreich auf einem Raspberry Pi Zero 2 W mit 298 MB RAM ausgeführt.
Wenn Sie mit Stable Diffusion nicht vertraut sind: Hierbei handelt es sich um eine Anwendung, mit der mithilfe von KI Bilder basierend auf vom Benutzer eingegebenen Wortaufforderungen erstellt werden können. Plantamura konnte zuvor das Original erhalten Stabile Diffusion 1.5 um auf einem Raspberry Pi Zero 2 W mit weniger als 260 MB RAM zu laufen. Die von ihm entwickelte Anwendung, die all dies ermöglicht, trägt den Namen OnnxStream.
Laut Plantamura war es schwieriger, Stable Diffusion XL 1.0 auszuführen, da es über ein Transformatormodell mit fast 1 Milliarde Parametern verfügt. Der Raspberry Pi Zero 2 W verfügt über 512 MB RAM, für die Ausführung von Stable Diffusion wird jedoch mindestens 8 GB empfohlen. Unnötig zu erwähnen, dass Plantamura viel Arbeit vor sich hatte.
Der Anpassungsprozess ähnelte dem für Stable Diffusion 1.5 entwickelten, es gibt jedoch einige wesentliche Unterschiede, die ihn von anderen unterscheiden. Stable Diffusion XL 1.0 verwendet beispielsweise die sogenannte Kacheldekodierung. Dieser Prozess ist Teil dessen, was es ermöglicht, den übermäßigen RAM-Verbrauch von 4,4 GB auf nur 298 MB zu reduzieren.
Bild 1 von 2
Bilder werden in Blöcken verarbeitet, die letztendlich einen Kacheleffekt mit sichtbaren Grenzen zwischen den einzelnen Abschnitten erzeugen. Dies wird durch die Aktivierung eines Unschärfeeffekts gemildert. Wie das aussieht, können Sie in den Bildern oben anhand der Vorher- und Nachher-Beispiele sehen. Wie bereits erwähnt, ist dieses Projekt keineswegs praktikabel, da die Verwendung der Anwendung viel länger dauert. Es ist jedoch ein ausgezeichneter Proof of Concept und wir freuen uns, einen Einblick in die harte Arbeit zu geben, die darin steckt.
Wenn Sie sich das genauer ansehen möchten Raspberry Pi-Projektschauen Sie sich das Quellmaterial unter an GitHub. Folgen Sie Plantamura unbedingt für weitere Projekte sowie zukünftige Updates zu diesem Projekt.