Ist ChatGPT König? Wie die besten kostenlosen KI-Chatbots bei Feldtests abgeschnitten haben

0

Während ChatGPT von OpenAI nach seiner Veröffentlichung im November 2022 der erste auf künstlicher Intelligenz (KI) basierende Chatbot war, der die Welt in seinen Bann zog, sind seitdem zahlreiche Konkurrenten auf den Markt gekommen.

Die Tech-Giganten Google und Microsoft haben ihre KI-Chatbots auf den Markt gebracht, wobei Bard von Google seine Warteliste entfernte und am 10. Mai für über 180 Länder und Territorien öffnete, nachdem Microsoft ihm zuvorgekommen war und im Mai seine KI-gestützte Bing-Suchmaschine vollständig veröffentlicht hatte 4.

Da mehrere Chatbots zur Auswahl standen, beschloss Cointelegraph, einige der bekanntesten auf Herz und Nieren zu prüfen, um herauszufinden, welcher sich bei Feldtests am besten behauptete, und einige ihrer Funktionen zu vergleichen.

Um die Chatbots zu testen, wurden ihnen jeweils eine Reihe von Fragen, Rätseln und komplexeren Aufforderungen gestellt, um ihre Genauigkeit und Reaktionsgeschwindigkeit zu bestimmen.

Viele heute verfügbare KI-Chatbots basieren auf den GPT-Modellen von OpenAI. Während diese KI-Chatbots möglicherweise ähnliche Ergebnisse wie ChatGPT liefern, können die App-Entwickler auch zusätzliche Befehle hinzufügen, die die Ergebnisse ändern können.

ChatGPT-3.5 von OpenAI

Während OpenAI bereits ChatGPT-4 veröffentlicht hat, das Plus-Plan-Benutzern für 20 US-Dollar pro Monat zur Verfügung steht, ist die Nutzung von ChatGPT-3.5 kostenlos und wird hier getestet.

ChatGPT-4 übertrifft seinen Vorgänger deutlich mit schnelleren Antwortgeschwindigkeiten, genaueren Antworten und weniger Serverausfallzeiten.

Der erste KI-Chatbot, der die Welt im Sturm erobert, kann nach nur etwa einer Sekunde Bearbeitungszeit bei Aufgaben wie dem Schreiben von Aufsätzen, dem Debuggen von Code und sogar bei persönlichen Finanzen helfen.

Ein Bereich, in dem ChatGPT jedoch unterdurchschnittlich abschneidet, ist die mangelnde Fähigkeit, das Internet zu durchsuchen.

Das bedeutet, dass das Modell nur so gut ist wie die eingespeisten Trainingsdaten, und zwar bis September 2021. OpenAI führt Plugins ein, die es ihm ermöglichen, Online-Informationen mithilfe der Such-API von Bing zu beschaffen, dies wird jedoch auf Benutzer des Plus beschränkt sein planen.

Trotz dieses Mangels in der kostenlosen Version ist der Chatbot in der Regel immer noch in der Lage, dem Benutzer Ressourcen vorzuschlagen, die ihm bei seiner Anfrage helfen, wie in der folgenden Interaktion hervorgehoben.

Ein Screenshot, der die Unfähigkeit von ChatGPT-3.5 veranschaulicht, über aktuelle Ereignisse zu sprechen. Quelle: OpenAI

ChatGPT-3.5 beantwortete die meisten Rätsel und alle einfachen mathematischen Aufgaben richtig, bei komplexeren Problemen waren die Antworten jedoch weniger durchgängig richtig.

Als ChatGPT-3.5 beispielsweise gebeten wurde, die quadratische Gleichung 2t^2 + 0,3t – 0,4 = 0 zu lösen, gab es in einem von drei Versuchen die richtige Antwort zurück und hatte ähnliche Probleme bei der Multiplikation größerer Zahlen.

ChatGPT-3.5 kann auch bei der Beantwortung anderer Fragen ungenau sein. Den Tests von OpenAI zufolge konnte es nur 213 von 400 Fragen der Uniform Bar Exam richtig beantworten, die Jurastudenten in den USA bestehen müssen, bevor sie als Anwalt praktizieren können.

Abgesehen von sachlichen Ungenauigkeiten hatte ChatGPT-3.5 auch mit Fragen zum Testen seiner logischen Fähigkeiten zu kämpfen, wie zum Beispiel der folgenden.

ChatGPT beantwortet eine Frage, die darauf abzielt, seine logischen Fähigkeiten zu testen, falsch. Quelle: OpenAI

Microsofts Bing

Bings ChatGPT basiert auf dem von OpenAI erstellten GPT-4-Sprachmodell, die beiden Chatbots weisen jedoch mehrere wesentliche Unterschiede auf.

Der erste auffällige Unterschied besteht darin, dass der Chatbot von Bing viel länger braucht, um auf Fragen zu antworten, mit einer durchschnittlichen Antwortzeit von etwa fünf Sekunden im Vergleich zum ChatGPT von OpenAI, der nur eine Sekunde dauert.

Außerdem müssen Benutzer den Microsoft Edge-Webbrowser verwenden, was bei weitem nicht der Fall ist beliebt als Google Chrome.

Positiv zu vermerken ist, dass der Chatbot von Bing in seinen Antworten die Bing-Suchmaschine nutzt, wodurch er im Gegensatz zu jedem anderen Chatbot, der GPT-4 verwendet, Fragen zu aktuellen Ereignissen beantworten kann. Es ist derzeit auch kostenlos erhältlich.

Darüber hinaus stellt es Quellen für seine Antworten bereit, sodass Benutzer die Behauptungen des Chatbots einfacher überprüfen können.

Microsofts Bing ChatGPT in Aktion. Quelle: Bing

Unter Verwendung der gleichen quadratischen Gleichung 2t^2 + 0,3t – 0,4 = 0 stellte Bing eine Verbindung zum Microsoft Math Solver her, gab jedoch häufig eine falsche Antwort und hatte ähnliche Probleme bei der korrekten Beantwortung größerer Multiplikationen.

Auf die gleiche logische Frage zum Lesezeichen, die an ChatGPT-3.5 gestellt wurde, antwortete Bing richtig, dass man das Lesezeichen auf Seite 120 erwarten würde.

Googles Barde

Googles kürzlich veröffentlichter KI-Chatbot namens Bard, der auf dem Sprachmodell PaLM 2 läuft.

Wie der KI-Enthusiast Moritz Kremb in einem Twitter-Thread betont, kann er sowohl reagieren als auch mit Bildern aufgefordert werden, unterstützt zahlreiche Programmiersprachen und kann, wie Bings Chatbot, eine Verbindung zum Internet herstellen.

Auf die Frage, wie PaLM 2 im Vergleich zu GPT-4 abschneidet, sagte Bard, dass GPT-4 besser in der Textgenerierung sei, PaLM 2 jedoch besser in Argumentation und Logik sei, und fügte hinzu:

„Letztendlich hängt das beste Sprachmodell für Sie von Ihren Bedürfnissen ab. Wenn Sie ein LLM benötigen, das stark in Argumentation und Logik ist, dann ist Palm 2 die bessere Wahl. Wenn Sie ein LLM benötigen, das schnell ist, gut in der Textgenerierung ist und sich bewährt hat, dann ist GPT-4 die bessere Wahl.“

Bard beantwortete die Lesezeichenfrage richtig und erklärte seine Antwort ausführlicher als Bing, aber die Erklärungen waren oft unsinnig.

Verwandt: Was ist Googles Bard und wie funktioniert es?

Es löste die meisten Rätsel, die ihm gestellt wurden, und schnitt bei den mathematischen Fragen gut ab, indem es die komplexen Multiplikationsfragen und die quadratische Gleichung in zwei der drei vorbereiteten Antwortentwürfe richtig löste.

YouChat

Obwohl auch GPT-3.5 von OpenAI verwendet wird, gibt es einige Unterschiede zwischen YouChat von You.com und ChatGPT von OpenAI.

Es listet Quellen für den Großteil des generierten Textes auf und stellt außerdem Links zu mehreren Webseiten bereit, die sich auf die Suchanfrage beziehen.

Außerdem stellt er eine Verbindung zum Internet her und ermöglicht so den Zugriff auf aktuelle Ereignisse. Da er nicht den gleichen Bekanntheitsgrad wie der Chatbot von OpenAI genießt, sind Ausfallzeiten kein Problem.

Es beantwortete sowohl die Lesezeichenfrage als auch die quadratische Gleichung und das komplexere Multiplikationsproblem falsch.

Es konnte die meisten ihm gestellten Rätsel lösen, beantwortete einige jedoch falsch.

HuggingChat

HuggingChat ist eine Open-Source-KI-Chatbox der KI-Firma Hugging Face, die im April veröffentlicht wurde.

Als HuggingChat gebeten wurde, dieselbe quadratische Gleichung zu lösen, gab er 684 Textwörter zurück und konnte keine Antwort auf die Frage geben. Während es einfache Probleme richtig beantworten konnte, war es nicht in der Lage, größere Zahlen zu multiplizieren.

Während es manchmal direkte Antworten gab, lieferte HuggingChat oft riesige Textwände, die anfangs relevant waren, sich dann aber zu einer Art Geschwafel entwickelten.

Beispielsweise wurde es gebeten, das folgende Rätsel zu lösen: „Ein Fass Wasser wog 60 Pfund. Jemand hat etwas hineingesteckt und jetzt wiegt es 40 Pfund. Was hat die Person hinzugefügt?“

Die richtige Antwort ist ein Loch, aber der HuggingChat antwortete mit Eiswürfeln, bevor er mit einem 545-Wörter-Monolog begann.

Was ist mit dem Rest?

Derzeit sind viele andere KI-Chatbots verfügbar, die für begrenztere Anwendungsfälle als die hier genannten konzipiert sind, wobei der Markt wahrscheinlich weiterhin schnell wachsen wird.

Socratic ist beispielsweise ein weiterer KI-Chatbot von Google, der auf ein Smartphone heruntergeladen werden kann, um Benutzern bei der Beantwortung von Fragen zu Naturwissenschaften, Mathematik, Literatur und mehr zu helfen. Es bietet außerdem visuelle Erklärungen zu Konzepten in verschiedenen Fächern und ist ein nützliches Hilfsmittel zur Lernunterstützung.

DeepAI ist ein KI-Chatbot, der sich auf das Schreiben von Texten wie Programmiercode, Gedichten, Geschichten oder Essays spezialisiert hat.

Abschluss

Auch wenn es unfair wäre, ChatGPT-3.5 von OpenAI mit dem KI-Chatbot von Bing zu vergleichen – da sie unterschiedliche Sprachmodelle verwenden –, soll in diesem Artikel nur auf kostenlos verfügbare KI-Chatbots eingegangen werden.

Über Bing können Benutzer das ChatGPT-4-Sprachmodell von OpenAI nutzen, das eine enorme Verbesserung gegenüber dem Vorgänger darstellt.

Während Googles Bard vielversprechend war, leistete Bing im Allgemeinen die beste Leistung der derzeit frei verfügbaren KI-Chatbots, machte aber dennoch einige Fehler.

Andere Chatbots scheinen begrenztere Anwendungsfälle zu haben, die nützlicher sein könnten, aber diese drei scheinen im Verlauf der Entwicklung wegweisend zu sein.

Magazin: Kryptowährungshandelssucht – Worauf man achten sollte und wie man damit umgeht

Das Obige stellt einen informellen Feldtest verschiedener KI-Lösungen dar und ist keineswegs erschöpfend oder repräsentativ für die Position von Cointelegraph zu einer bestimmten KI-Lösung.