Nach der Einführung von NVIDIAs „Chat with RTX“ bietet AMD den Benutzern nun seinen ganz eigenen lokalisierten und GPT-basierten LLM-basierten KI-Chatbot an, der auf Ryzen AI-CPUs und Radeon 7000-GPUs ausgeführt werden kann.
NVIDIA Chat mit RTX hat einen Konkurrenten, da AMD seinen eigenen lokalisierten LLM-basierten Chatbot vorstellt, der auf Ryzen AI-CPUs und Radeon 7000-GPUs ausgeführt werden kann
Letzten Monat hat NVIDIA seinen KI-Chatbot „Chat with RTX“ auf den Markt gebracht, der auf seinen RTX 40- und RTX 30-GPUs verfügbar ist und mit dem TensorRT-LLM-Funktionssatz beschleunigt wird, der schnellere GenAI-Ergebnisse basierend auf den Daten bietet, die Sie ihm von Ihrem Computer zur Verfügung stellen PC oder anders ausgedrückt, ein lokalisierter Datensatz. Jetzt bietet AMD seinen eigenen LLM-basierten GPT-Chatbot an, der auf einer Vielzahl von Hardware ausgeführt werden kann, beispielsweise auf den Ryzen AI-PCs, zu denen Ryzen 7000- und Ryzen 8000-APUs mit XDNA-NPUs sowie die neuesten Radeon 7000-GPUs mit KI-Beschleunigerkernen gehören .
AMD hat einen Blog veröffentlicht Dort finden Sie eine Einrichtungsanleitung zur Nutzung der Hardware zum Ausführen Ihres eigenen lokalisierten Chatbots, der auf GPT-basierten LLMs (Large Language Models) basiert. Für AMD Ryzen AI-CPUs erhalten Sie die Standardkopie von LM Studio für Windows während die Radeon RX 7000 GPUs eine bekommen Technische Vorschau von ROCm. Der vollständige Leitfaden ist unten aufgeführt:
1. Laden Sie die richtige Version von LM Studio herunter:
2. Führen Sie die Datei aus.
3. Kopieren Sie auf der Registerkarte „Suchen“ den folgenden Suchbegriff und fügen Sie ihn ein, je nachdem, was Sie ausführen möchten:
A. Wenn Sie Mistral 7b betreiben möchten, suchen Sie nach: „TheBloke/OpenHermes-2.5-Mistral-7B-GGUF” und wählen Sie es aus den Ergebnissen auf der linken Seite aus. Normalerweise wird es das erste Ergebnis sein. In diesem Beispiel verwenden wir Mistral.
B. Wenn Sie LLAMA v2 7b ausführen möchten, suchen Sie nach: „TheBloke/Llama-2-7B-Chat-GGUF” und wählen Sie es aus den Ergebnissen auf der linken Seite aus. Normalerweise wird es das erste Ergebnis sein.
C. Hier können Sie auch mit anderen Modellen experimentieren.
4. Scrollen Sie im rechten Bereich nach unten, bis Sie das sehen Q4 KM Modelldatei. Klicken Sie auf „Herunterladen“.
A. Wir empfehlen Q4 KM für die meisten Modelle auf Ryzen AI. Warten Sie, bis der Download abgeschlossen ist.
5. Gehen Sie zur Registerkarte „Chat“. Wählen Sie das Modell aus dem zentralen Dropdown-Menü oben in der Mitte aus und warten Sie, bis der Ladevorgang abgeschlossen ist.
6. Wenn Sie eine haben AMDRyzen AI-PC Sie können mit dem Chatten beginnen!
A. Wenn Sie eine haben AMDRadeon-GrafikkarteBitte:
ich. Aktivieren Sie „GPU Offload“ auf der rechten Seite.
ii. Bewegen Sie den Schieberegler ganz auf „Max“.
iii. Stellen Sie sicher, dass AMD ROCm als erkannter GPU-Typ angezeigt wird.
iv. Beginnen Sie mit dem Chatten!
Ein lokalisierter Chatbot mit KI-Unterstützung kann bei richtiger Einrichtung das Leben und Arbeiten relativ einfacher machen. Sie können Ihre Arbeit effizient erledigen und basierend auf Ihren Abfragen und dem Datenpfad, auf den das LLM abzielt, korrekte Ergebnisse erzielen. NVIDIA und AMD beschleunigen das Tempo der KI-gestützten Funktionen für Hardware der Verbraucherklasse und das ist erst der Anfang. Erwarten Sie in Zukunft weitere Innovationen, wenn das KI-PC-Segment neue Höhen erreicht.
