Stabile Diffusion läuft mit nur 260 MB RAM auf dem Raspberry Pi

Stable Diffusion ist eine Deep-Learning-Anwendung, die Bilder aus Textaufforderungen erstellt. Er kommt 2022 auf den Markt und benötigt deutlich mehr Rechenleistung als ein Raspberry Pi. Diese beeindruckende Leistung wurde von Hersteller und Entwickler zusammengestellt Vita Plantamura dem es gelungen ist, ein stabiles Diffusionsmodell mit 1 Milliarde Parametern auf einem Raspberry Pi Zero 2 W mit nur 260 MB RAM erfolgreich auszuführen.

Dies ist eine beeindruckende Leistung, vor allem weil der Raspberry Pi Zero 2 W eher für sein kompaktes Design als für seine Rechenleistung bekannt ist. Aber es ist nicht nur physisch klein, es weist auch Hardware-Einschränkungen auf, die seine Leistung einschränken. In diesem Fall verfügt der Pi Zero 2 W über nur 512 MB RAM. Stable Diffusion bevorzugt mindestens 8 GB RAM für optimale Leistung.

Plantamura konnte dies erreichen, indem er das entwickelte, was er OnnxStream nennt. Hierbei handelt es sich um eine speziell entwickelte Inferenzbibliothek, die den Speicherverbrauch reduzieren soll, sodass Bilder auf einem Raspberry Pi Zero 2 W generiert werden können. Ist sie praktisch? Nicht unbedingt zu sehen, da die Erstellung von Bildern viel länger dauert. Die Erstellung von Bildern, die mit einem VAE-Decoder in W8A8-Präzision erstellt wurden, kann drei Stunden dauern. Es funktioniert jedoch und ist in dieser Hinsicht ziemlich beeindruckend. Laut Plantamura verbraucht OnnxStream 55-mal weniger Speicher als OnnxRuntime, ist aber höchstens doppelt so langsam.

OnnxStream bietet viele nützliche Funktionen für diejenigen, die mit dem Tool erstellen möchten. Einige Beispiele umfassen Attention Slicing, sowohl dynamische als auch statische Quantisierung, FP16-Unterstützung und sogar eine vom WeightsProvider entkoppelte Inferenz-Engine. Eine vollständige Liste der Funktionen finden Sie unter offizielle Projektseite.