Besitzer von Grafikkarten der RTX 40- und 30-Serie können jetzt ihr eigenes personalisiertes Large Language Model (LLM) auf ihrem eigenen PC einrichten. Es ist hervorragend geeignet, alte Dokumente zu sichten oder die Essenz von YouTube-Videos herauszuarbeiten.
Chat with RTX kann jetzt heruntergeladen werden Nvidias Website ab heute, dem 13. Februar, kostenlos. Es funktioniert mit jeder Grafikkarte der aktuellen oder letzten Generation mit mindestens 8 GB oder mehr VRAM, einschließlich aller Desktop-Karten mit Ausnahme der RTX 3050 6 GB und ausgenommen einiger Laptop-GPUs der mittleren bis unteren Preisklasse. Abhängig von den heruntergeladenen KI-Modellen sind außerdem 50 bis 100 GB Speicherplatz auf Ihrem PC erforderlich.
Es stehen zwei Modelle zur Auswahl: Mistral oder Llama 2. Die Standardeinstellung ist Mistral, und ich würde empfehlen, dabei zu bleiben.
Die wichtigsten Bestandteile von Chat mit RTX sind Retrieval-Augmented Generation (RAG) und TensorRT-LLM. Ersteres bedeutet, dass Sie dem LLM Informationen zur Verfügung stellen können, die er neben seiner internen Schulung nutzen kann, um genaue Antworten auf Ihre Fragen zu generieren. Letzterer baut TensorRT-Engines, die das Silizium in Nvidias GeForce-GPUs nutzen können, um KI-Anwendungen effizienter auszuführen.
Das Ergebnis ist ein LLM, in das Sie Ihre eigenen Daten einspeisen können (.txt-, .pdf- und .doc-Dateitypen) und das Sie dann auf diesen Daten abfragen können.
Ich habe zum Beispiel in den letzten Tagen mit dem Tool herumgespielt, und da ich im Rahmen dieses Jobs viele Dokumente erstelle, fühlt es sich an, als wäre es der beste Datensatz, den man in sein klaffendes Maul stopfen kann. Also habe ich „Chat with RTX“ auf meinem PC mit RTX 4080 (Installationsgröße 61,7 GB) eingerichtet und das Mistral-Modell mit über 1.300 wunderbaren Texten gefüttert (ähem, oder besser gesagt, meinen Nachrichtenartikelentwürfen). Dann machte ich mich daran, ihm ein paar Fragen zu stellen.
Zuerst fragte ich: „Könnten Sie die Artikel nennen, in denen ich Nvidia erwähne?“
Als Ergebnis erhalten Sie die obige Antwort, in der drei Artikel mit ihrem Dateipfad aufgeführt sind. Nun, ich habe in 1.300 Artikeln definitiv mehr als dreimal über Nvidia gesprochen, also versuchen wir es noch einmal.
Ich frage noch einmal und formuliere die Frage ein wenig um: „Könnten Sie jeden Artikel auflisten, in dem ich Nvidia erwähne?“
Diesmal werden acht Artikel aufgelistet, diesmal mit den aufgeführten Google Doc-Titeln. Ich habe Nvidia schon oft erwähnt, aber Sie bekommen eine allgemeine Vorstellung davon, wie das alles funktioniert. Jede Antwort scheint auf der Wahrheit zu beruhen, wobei in jeder Antwort die Daten zitiert werden, die zu ihrer Generierung verwendet wurden, wenn auch nicht immer die ganze Wahrheit. Wenn Sie einfach die Windows-Suchfunktion innerhalb des Artikeldatensatzes verwenden, werden 128 Entwürfe angezeigt, die den Begriff „Nvidia“ im Titel enthalten, ganz zu schweigen vom Fließtext.
Ein anderes Beispiel: Wenn ich Chat with RTX bitte, mir mitzuteilen, wie oft ich das Wort „Käse“ verwendet habe, erhalte ich die Meldung, dass ich den Ausdruck nie verwendet habe, und zitiere als Informationsquelle ein Dokument ohne Titel und ohne Bezug dazu. Dennoch ist es wahrscheinlich richtig, was die Sache mit dem Käse angeht. Bis jetzt jedenfalls.
Doch das Tool ist noch spannender, wenn man es auffordert, große Mengen an Informationen in einzelnen, mundgerechten Antworten zusammenzufassen.
Ich habe Chat with RTX gefragt, ob ich einen Intel Core i9 14900K kaufen soll, und er kam mit einer gekürzten Version meines eigenen 14900K-Testberichts zurück, der es kurz und bündig zusammenfasste: „Basierend auf dem Testbericht scheint es, dass der Intel Core i9 14900K.“ ist den Mehrpreis im Vergleich zum Core i9 13900K möglicherweise nicht wert.
Ich könnte es selbst nicht besser ausdrücken.
Ich habe Chat with RTX auch gebeten, einen Artikel zusammenzufassen, den ich vor einiger Zeit über das F1-E-Sport-Team von Alpine geschrieben hatte, und den er kurz und bündig erklärte, und mir dann etwas über die Meteor-Lake-Prozessoren von Intel zu erzählen, von denen ich wusste, dass sie in den Artikeln darin einige Male behandelt wurden Datensatz.
Bild 1 von 3
Oh, und ich habe gefragt, wer ich bin. Dies diente eher dazu, mir das Gefühl zu geben, wichtig zu sein, da das LLM eine Beschreibung von mir in nahezu denselben Worten zurückgab, mit denen ich mich selbst für meine Website-Biografie beschrieben habe. Theoretisch könnten Sie einfach Tausende von Dokumenten darüber füttern, wie großartig Sie sind, und die Traumsoftware eines Narzissten erstellen.
Nicht, dass ich das tun würde, nein.
Es ist die Zusammenfassung großer Datensätze, für die ich mir vorstellen kann, dass dieses Tool nützlich ist. Obwohl ich bezweifle, dass jeder ein solches Bedürfnis danach hat. Der durchschnittliche PC-Benutzer hat möglicherweise keine Lust auf eine 100-GB-App, die ihm mitteilt, was er bereits weiß. Angenommen, Sie arbeiten mit einer großen Anzahl von Antworten auf eine Umfrage und möchten sich schnell einen Überblick über die allgemeinen Gedanken und Gefühle derjenigen verschaffen, die geantwortet haben. Dies ist eine einfache Möglichkeit. Es ist jedoch am besten, es mit Vorsicht und nur als Leitfaden für den eingegebenen Datensatz zu verwenden, nicht als Möglichkeit, ihn vollständig und genau zu analysieren.
Die anderen Leute, die es ansprechen könnte, sind diejenigen, die ihre Inhalte lieber aus der Cloud fernhalten möchten. Die Idee, eine von Gott weiß wo gehostete KI zu bitten, mit Dateien umzugehen, die vertrauliche Informationen enthalten könnten, oder mit Manuskripten für Ihre große Actionfilm-Idee, ist für viele nicht besonders verlockend. Wie das aussieht, wenn etwas schief geht, haben wir dank der Mitarbeiter von Samsung bereits gesehen. Aus diesem Grund könnte ein lokal ausgeführtes Tool wie dieses möglicherweise attraktiv sein.
Die andere Verwendung für Chat mit RTX besteht darin, ihm YouTube-Videos zuzuführen und ihn dann nach den Inhalten abzufragen. Ich schnappte mir eine Folge von Chat Log, einem Podcast meiner Kollegen Lauren Morton und Mollie Taylor, und speiste sie in die Maschine ein. Die Episode trägt den Titel „Passt das Steam Deck bisher zum PC-Gaming-Lebensstil?“
Ich fragte: „Ist das Steam Deck im Alltag einfach zu verwenden?“ und es wird eine Antwort ausgedruckt, die Laurens und Mollies Gespräch mit Tyler Colp zu diesem Thema zusammenfasst.
Dann stellte ich auch die offensichtliche Frage: „Passt das Steam Deck bisher zu ihrem PC-Gaming-Lebensstil?“ Die Antwort:
Diese Funktion funktioniert, indem sie das Transkript des YouTube-Videos herunterlädt, es aufnimmt und RAG verwendet, um angemessen auf die Fragen eines Benutzers zu antworten. Es scheint auf jeden Fall gute Zusammenfassungen von YouTube-Videos zu erstellen, in denen viel gesprochen wird. Aufgrund der Abhängigkeit von Transkripten können Sie jedoch keine Inhalte bereitstellen, die auf visuellen Informationen basieren. Füttere ihn mit dem Grand Theft Auto VI-Trailer, der fast ohne Worte auskommt, und du wirst nichts davon haben.
Bei der YouTube-Nutzung bin ich mir nicht so sicher. Einerseits könnte ich mir vorstellen, dass es für eine Zusammenfassung eines langen Live-Streams oder einer Veranstaltung nützlich ist, für die man keine Zeit hat, es sich anzusehen, obwohl es für die wenigen Fälle, in denen das eine Sache ist, eine umfangreiche Anwendung ist. Ebenso scheint der YouTube-Ersteller keine Meinung dazu zu haben, und ich neige dazu, in das Lager zu fallen: „KIs, die Informationen von Online-Erstellern abkratzen und nichts als Gegenleistung anbieten, zerstören den Kern des Internets, wie wir es kennen.“ . Diese Anwendung allein macht vielleicht keinen großen Unterschied, aber ich bin fest davon überzeugt, dass Sie, wenn Sie die Informationen von jemandem erhalten möchten, ihn zumindest dabei unterstützen sollten, weitere Informationen dieser Art zu erstellen.
Wie auch immer, der YouTube-Sachen tritt für mich bei Chat with RTX in den Hintergrund. Es ist die Masse lokal Textdateiverdauung, die sich als das wichtigste Teil der Software anfühlt. Als Anwendung ist es ziemlich schnell. Es generiert schnell Antworten, sobald Sie bei einer Anfrage auf „Senden“ klicken. Obwohl es scheinbar etwa 85 % meines VRAM verschlingt, müssen Sie darauf achten, es richtig mit dem Aus-Schalter zu schließen, um es wieder an den PC freizugeben, wenn Sie damit fertig sind.
Chat mit RTX ist ein unterhaltsames Konzept und eine gute Möglichkeit für Nvidia, zu zeigen, was Inference lokal auf seinen GeForce-Karten bewirken kann, aber ich bin mir nicht sicher, ob ich es auf meinem PC behalten werde. Zum einen ist es aufgrund der riesigen Modelldaten absolut umfangreich, zum anderen aber auch, weil die tatsächlichen praktischen Einsatzmöglichkeiten für mich persönlich ziemlich begrenzt sind.
Vielleicht finden sich ein paar clevere Clogs neue und aufregende Möglichkeiten, es in die Praxis umzusetzen, jetzt, wo es der Welt zugänglich ist. Das könnten Sie sein, vorausgesetzt, Sie verfügen über die richtige Hardware. Du kannst Laden Sie Chat mit RTX herunter Probieren Sie es heute selbst aus.