Mit Alpaca, einem Chatbot, der von Stanford-Forschern entwickelt wurde, können Sie eine ChatGPT-ähnliche KI auf Ihrem eigenen PC ausführen. Es unterstützt Windows, macOS und Linux. Sie benötigen lediglich mindestens 8 GB RAM und etwa 30 GB freien Speicherplatz.
Chatbots liegen derzeit voll im Trend und jeder will ein Stück vom Geschehen abhaben. Google hat Bard, Microsoft hat Bing Chat und ChatGPT von OpenAI ist an dieser Stelle praktisch gleichbedeutend mit KI. Was aber, wenn Sie sich für Ihren Chatbot nicht auf einen Cloud-Dienst verlassen möchten? Wir haben eine ChatGPT-ähnliche KI, die Sie herunterladen können – ein Alpaka.
Was ist Alpaka?
Alpaca ist ein Sprachmodell (im Grunde ein Chatbot), ähnlich wie ChatGPT. Es ist in der Lage, Fragen zu beantworten, zu argumentieren, Witze zu erzählen und so ziemlich alles andere, was wir von Chatbots erwarten. Alpaka wurde von erstellt Stanford-Forscher durch Feintuning Facebooks LLaMA.
Im Gegensatz zu ChatGPT und den meisten anderen heute verfügbaren Chatbots läuft Alpaca vollständig auf Ihrem eigenen PC. Das bedeutet, dass niemand Ihre Gespräche oder Ihre Fragen an Alpaca ausspionieren kann, und Ihr Austausch kann auch nicht versehentlich durchgesickert sein. Es bedeutet auch, dass Sie keine monatlichen Gebühren zahlen müssen, Sie können das Modell weiter trainieren, um es besser an Ihre Bedürfnisse anzupassen, wenn Sie die Hardware haben, und Sie können es in jede gewünschte Anwendung integrieren. Sie sind nur durch Ihre Hardware und Ihre Programmierkenntnisse eingeschränkt.
Es funktioniert jedoch auch wunderbar als normaler alter Chatbot, mit dem Sie sprechen können, und wir zeigen Ihnen, wie Sie es auf fast jedem PC da draußen ausführen können.
Wie vergleicht sich Alpaca mit ChatGPT?
Wir bringen es gleich vorab aus dem Weg: ChatGPT, insbesondere ChatGPT mit GPT-4, ist im Moment intelligenter und schneller als Alpaca.
Die Geschwindigkeit von Alpaca wird hauptsächlich durch den Computer begrenzt, auf dem es läuft – wenn Sie einen blitzschnellen Gaming-PC mit einer Menge Kernen und viel RAM haben, erhalten Sie eine gute Leistung. Langsamere PCs mit weniger Kernen brauchen länger, um Antworten zu generieren. Natürlich ist es nicht gerade fair oder vernünftig, es in dieser Hinsicht mit ChatGPT zu vergleichen – wir wissen nicht, auf welcher Art von Computer ChatGPT läuft, aber es ist sicherlich stärker als ein durchschnittlicher Desktop-PC.
Derzeit gibt es drei Hauptvarianten von Alpaka, 7B, 13B und 30B. Im Allgemeinen gilt: Je größer die Zahl, desto intelligenter ist der Chatbot.
Alpaca, insbesondere das 7B-Modell, ist deutlich „dümmer“ als ChatGPT. Es begründet nicht so gut und wird sicherlich nicht den Turing-Test bestehen. 7B ist jedoch immer noch großartig, wenn Sie einen Rezeptvorschlag wünschen.
Die Modelle 13B und 30B sind eine ganz andere Geschichte. 13B ist in der Lage, ein kohärentes, menschenähnliches Gespräch zu führen und komplexe Fragen zu beantworten. 30B ist sogar noch beeindruckender, wenn Sie die Hardware haben, um es auszuführen, und sich in unmittelbarer Nähe von ChatGPT befindet. Es wird philosophisch weitergehen oder einen Witz machen, ohne einen Takt zu verpassen, wenn Sie dazu aufgefordert werden.
Was brauchen Sie, um Alpaka zu führen?
Alpaca hat ziemlich flexible Systemanforderungen. Diese Richtlinien liegen über dem absoluten Minimum, sind aber gute Richtlinien. Wir werden dies auch unter Windows installieren. Wenn Sie dies auf einem System installieren, auf dem Linux oder macOS ausgeführt wird, überspringen Sie einfach den Abschnitt Windows-Subsystem für Linux – er ist für Sie nicht relevant.
- 16 GB von RAM
- 35 GB Speicherplatz auf einer SSD, wenn Sie alle drei Modelle möchten.
- 4 GB für das 7B-Modell, 8 GB für das 13B-Modell und 20 GB für das 30B-Modell
- 500 MB für Standard-Ubuntu mit WSL2
- Ein paar GB mehr zwischen anderen Abhängigkeiten
- Eine moderne CPU ist ideal
- Jede Ryzen-CPU
- Intel-Prozessor der 7. Generation oder neuer
- Windows-Subsystem für Linux 2 (WSL2)
- GIT
- Docker
- Ein Gemeinschaftsprojekt, Sergewas Alpaca ein nettes Webinterface gibt
Warnung: Es gibt derzeit keinen Grund zu der Annahme, dass dieses spezielle Projekt größere Sicherheitslücken aufweist oder böswillig ist. Wir haben den Code durchgesehen und die Software selbst ausgeführt und nichts Besorgniserregendes gefunden. Das bedeutet nicht, dass es sicher ist oder bleiben wird. Seien Sie immer vorsichtig mit Dingen, die Sie im Internet finden, und bewerten Sie die Sicherheit regelmäßig neu.
So führen Sie Alpaca lokal auf Ihrem PC aus
Es ist wichtig, dass Sie diese Schritte in der angegebenen Reihenfolge ausführen. Docker wird wahrscheinlich kaputt gehen, wenn Sie dies nicht tun, was eine vollständige Neuinstallation von WSL2 und Docker erfordert.
Installieren Sie das Windows-Subsystem für Linux 2
Notiz: Wenn Sie WSL2 bereits installiert haben, führen Sie einfach wsl –update in PowerShell aus, um sicherzustellen, dass alles aktualisiert wird.
Öffnen Sie ein PowerShell-Fenster als Administrator und geben Sie dann den Befehl ein:
wsl --install
Es dauert ein wenig, alle WSL2-Dateien und Ubuntu herunterzuladen. Nach Abschluss der Installation müssen Sie Ihren PC neu starten.
Öffnen Sie nach dem Neustart PowerShell erneut (nicht unbedingt als Administrator) und führen Sie Folgendes aus:
wsl -l -v
Sie sollten so etwas wie das Bild unten sehen, wenn alles richtig funktioniert hat. Sie müssen auch nicht speziell Ubuntu installieren. Sie können jede beliebige Distribution installieren, Ubuntu ist nur die Standardeinstellung.
Installieren Sie Docker
VERWANDT: Was macht Docker und wann sollten Sie es verwenden?
Laden Sie zunächst die Docker-Installationsprogramm von der Docker-Website. Wenn Sie Docker unter Linux oder macOS ausführen möchten, stellen Sie sicher, dass Sie das entsprechende Installationsprogramm verwenden.
Notiz: Wenn Sie einen Headless-Linux-Server betreiben, sollten Sie dies tun Befolgen Sie die entsprechenden Anweisungen für Ihre Linux-Distribution um Docker zum Laufen zu bringen.
Führen Sie das Installationsprogramm aus und warten Sie einige Minuten. Docker wird eine Weile brauchen und eine Menge Dinge hinter den Kulissen einrichten. Sobald dies erledigt ist, sollten Sie Ihren PC neu starten.
Öffnen Sie nach dem Neustart PowerShell und führen Sie es aus wsl -l -v nochmal. Dieses Mal sollten Sie auch einige Einträge sehen, die sich auf Docker beziehen.
Installieren Sie GIT unter Windows
Die letzte Voraussetzung ist Git, mit dem wir Serge automatisch von Github herunterladen (und aktualisieren). Es ist nicht unbedingt erforderlich, da Sie die ZIP-Datei jederzeit herunterladen und manuell extrahieren können, aber Git ist besser.
Gehen Sie zur Git-Website und Laden Sie die richtige Version herunter für Ihr Betriebssystem. Windows-Benutzer müssen nur die ausführbare Datei ausführen. Schauen Sie sich zumindest die Installationsoptionen an, anstatt sich schnell durch alle Optionen zu klicken. Einer, der im Screenshot unten gezeigt wird, ist absolut kritisch.
Sobald Git mit der Installation fertig ist, können Sie Serge und Alpaca installieren.
Installieren Sie Serge und Alpaka
Stellen Sie zunächst sicher, dass Docker Desktop ausgeführt wird. Öffnen Sie dann PowerShell oder Windows Terminal mit geöffnetem PowerShell-Fenster (nicht als Administrator) und führen Sie den folgenden Befehl aus:
git clone https://github.com/nsarrazin/serge.git && cd serge
Dadurch werden die Dateien von GitHub in einen Ordner auf Ihrem PC heruntergeladen und dann das aktive Verzeichnis in den erstellten Ordner geändert.
Der nächste Befehl, den Sie ausführen müssen, ist:
cp .env.sample .env
Diese Zeile erstellt eine Kopie von .env.sample und nennt die Kopie „.env“. Die Datei enthält Argumente, die sich auf die beziehen lokal Datenbank, die Ihre Konversationen speichert, und den Port, den der lokale Webserver verwendet, wenn Sie eine Verbindung herstellen.
Dann renne:
docker compose up -d
Docker compose bindet eine Reihe verschiedener Container zu einem ordentlichen Paket zusammen. Sie können die Datei docker-compose.yml im Serge-Ordner auschecken, wenn Sie genauer sehen möchten, worum es hier geht.
Der letzte Befehl initiiert einen Download, und hier müssen Sie eine Auswahl treffen, bevor Sie fortfahren. Es gibt drei verschiedene Varianten, die Sie herunterladen können: 7B, 13B und 30B. 7B ist das einfachste und „dümmste“ Modell, während 30B das raffinierteste und intelligenteste ist. 13B ist der Mittelweg.
| Variante | Downloadgröße | Freier RAM erforderlich | System-RAM Unter Windows empfohlen | System-RAM Empfohlen unter Linux |
| 7B | 4GB | 4GB | 16 Gigabyte | 8GB |
| 13B | 8GB | 8GB | 16 Gigabyte | 16 Gigabyte |
| 30B | 20 | 20GB | 64 GB (Wahrscheinlich) | 32GB |
Linux- (und wahrscheinlich macOS-) Installationen werden mit weniger System-RAM auskommen als Windows-Installationen – Windows ist ein bisschen RAM-Hog. Sie sollten wahrscheinlich zuerst mit der 7B-Variante beginnen, da dies die am wenigsten anspruchsvolle Option ist. Sie können später jederzeit 13B oder 30B herunterladen, wenn Sie möchten.
Führen Sie den folgenden Befehl aus, um das 7B-Modell herunterzuladen (oder ersetzen Sie 13B oder 30B).
docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B
Seien Sie bereit zu warten, besonders wenn Sie sich für die 30B-Variante entscheiden. Der Huggingface-Server scheint mit etwa 20 Megabyte pro Sekunde die Obergrenze zu erreichen, sodass Sie im besten Fall 50 Sekunden pro heruntergeladenem Gigabyte erwarten.
Verwenden Sie Serge und Alpaka
Docker und alle erforderlichen Container werden derzeit ausgeführt, wenn Sie diese Anweisungen befolgt haben. Sie müssen sie jedoch wieder aktivieren, wenn Sie Ihren Computer neu starten. Öffnen Sie dazu einfach Docker Desktop und klicken Sie auf die kleinen dreieckigen Schaltflächen. Die Symbole links neben der Spalte „Name“ werden grün, wenn die Container ausgeführt werden.
Zu diesem Zeitpunkt ist alles installiert und einsatzbereit. Öffnen Sie einfach Ihren Browser und geben Sie „localhost:8008″ in die Adressleiste ein, genauso wie Sie Facebook oder jede andere Website besuchen würden.
Notiz: Wenn Sie Alpaca/Serge auf einem anderen Computer hosten, müssen Sie die lokale IP-Adresse dieses Geräts anstelle von localhost eingeben.
Auf dem Hauptbildschirm werden Ihre vorherigen Konversationen links und die Einstellungen für einen neuen Chat in der Mitte angezeigt.
Es gibt eine ganze Reihe von Einstellungen, aber es gibt fünf, auf die Sie wirklich achten sollten:
- Temperatur – Legt fest, wie frei die KI antwortet. Niedrigere Zahlen führen zu starreren Antworten, während höhere Zahlen kreativer sind.
- Maximale generierte Textlänge in Token – Wie lang die Antworten sein dürfen, die der Bot schreibt.
- Modellauswahl – Wählen Sie zwischen 7B, 13B, 30B und jedem anderen Modell, das Sie installieren.
- n_Threads – Die Anzahl der Threads, die Serge/Alpaca auf Ihrer CPU verwenden kann. Wenn Sie mehr zuweisen, wird die Leistung verbessert
- Vorankündigung zum Initialisieren einer Konversation – Bietet Kontext, bevor das Gespräch beginnt, um die Art und Weise, wie der Chatbot antwortet, zu beeinflussen.
In diesem Fall haben wir die Temperatur und die Threads erhöht, das 13B-Modell ausgewählt und dem Chatbot mitgeteilt, dass es sich um einen Piraten handelt.
Hier ist ein Beispiel, wie das Gespräch verlaufen ist.
Mit Alpaca können Sie über alles reden, was Sie möchten, und Sie müssen sich keine Gedanken darüber machen, was mit Ihren Daten passiert. Es bleibt auf Ihrem Gerät und jederzeit unter Ihrer Kontrolle.
Denken Sie daran, ChatGPT, Alpaca und andere Chatbots scheinen zuverlässig zu sein, sind es aber zu diesem Zeitpunkt nicht. Sie verkörpern sehr stark das Gefühl: „Wenn Sie sie nicht mit Brillanz blenden können, verblüffen Sie sie mit BS.“ Ihre Neigung, Dinge zu erfinden, wurde als „halluzinierend“ bezeichnet. Verlassen Sie sich nicht auf sie für etwas Wesentliches, insbesondere nicht für etwas, das für Ihren Job oder Ihre Gesundheit von entscheidender Bedeutung ist. Sie sollten derzeit nur zu Unterhaltungs- oder Versuchszwecken verwendet werden.
Die Technologie wird jedoch mit der Zeit immer besser – es wird nicht lange dauern, bis Alpaca (oder eine andere lokal betriebene KI) in Discord-Server, Minecraft-Mods und eine beliebige Anzahl anderer kreativer Anwendungen integriert wird. Eine weitere Verfeinerung wird auch zu schnelleren, genaueren Modellen führen, die auf schwächerer Hardware ausgeführt werden können.