OpenAI bringt uns GPT-4, die nächste Evolution des beliebtesten Chatbots aller, ChatGPT. Zusätzlich zu einem fortschrittlicheren Sprachmodell, das „bei verschiedenen professionellen und akademischen Tests Leistung auf menschlichem Niveau zeigt“, akzeptiert die neue Version Bildeingaben und verspricht ein strengeres Ablehnungsverhalten, um zu verhindern, dass es Ihre unerwünschten Anforderungen erfüllt.
Das begleitende GPT-4 Technischer Bericht (öffnet in neuem Tab) (PDF) warnt jedoch davor, dass das neue Modell immer noch eine relativ hohe Kapazität für das hat, was die Forscher “Halluzinationen” nennen. Was absolut sicher klingt.
Was die Forscher meinen, wenn sie von Halluzinationen sprechen, ist, dass das neue ChatGPT-Modell, ähnlich wie die Vorgängerversion, die Tendenz hat, “Inhalte zu produzieren, die in Bezug auf bestimmte Quellen unsinnig oder unwahr sind”.
Die Forscher stellen jedoch klar, dass „GPT-4 darauf trainiert wurde, die Halluzinationstendenz des Modells zu reduzieren, indem Daten aus früheren Modellen wie ChatGPT genutzt wurden“. Sie trainieren es also nicht nur an seinen eigenen Fummeln, sondern sie haben es auch durch menschliche Bewertung trainiert (öffnet in neuem Tab).
„Wir haben Daten aus der realen Welt gesammelt, die als nicht sachlich gekennzeichnet waren, haben sie überprüft und, wo möglich, einen ,Fakten‘-Satz dafür erstellt. festlegen und menschliche Bewertungen erleichtern.“
Der Prozess scheint bei geschlossenen Themen erheblich geholfen zu haben, obwohl der Chatbot immer noch Probleme hat, wenn es um breitere Striche geht. Wie das Papier feststellt, ist GPT-4 29 % besser als GPT-3.5, wenn es um „Closed-Domain“-Chats geht, aber nur 19 % besser bei der Vermeidung von „Open-Domain“-Halluzinationen.
ITNÄCHSTES (öffnet in neuem Tab) erklärt den Unterschied zwischen Open- und Closed-Domain, indem “Closed-Domain-QA eine Art QA-System ist, das Antworten basierend auf einem begrenzten Satz von Informationen innerhalb einer bestimmten Domäne oder Wissensbasis liefert.” Open-Domain-QA-Systeme liefern stattdessen „Antworten auf der Grundlage einer Vielzahl von Informationen, die im Internet verfügbar sind, und sind am besten für spezifische, begrenzte Informationsbedürfnisse geeignet“.
Also ja, wir werden wahrscheinlich immer noch sehen, wie Chat GPT-4 uns wegen Sachen direkt anlügt.
Natürlich werden sich die Benutzer darüber aufregen, dass der Chatbot ihnen falsche Informationen liefert, obwohl dies nicht das größte Problem ist. Eines der Hauptprobleme ist “Überlastung”. Die Neigung zu Halluzinationen „kann besonders schädlich sein, wenn Modelle immer überzeugender und glaubwürdiger werden, was dazu führt, dass sich die Benutzer übermäßig auf sie verlassen“, heißt es in der Studie.
„Im Gegenzug können Halluzinationen gefährlicher werden, wenn Modelle wahrheitsgemäßer werden, da Benutzer Vertrauen in das Modell aufbauen, wenn es wahrheitsgemäße Informationen in Bereichen liefert, in denen sie etwas vertraut sind.“ Es ist für uns selbstverständlich, einer Quelle zu vertrauen, wenn sie zuvor genau war, aber eine kaputte Uhr stimmt zweimal am Tag, wie man so sagt.
Übermäßiges Vertrauen wird besonders problematisch, wenn der Chatbot in automatisierte Systeme integriert ist, die uns helfen, Entscheidungen innerhalb der Gesellschaft zu treffen. Dies kann eine Rückkopplungsschleife verursachen, die zu einer „Verschlechterung der allgemeinen Informationsqualität“ führen kann.
“Es ist wichtig zu erkennen, dass das Modell seine Grenzen nicht immer genau zugibt, wie seine Neigung zur Halluzination zeigt.”
Abgesehen von den Problemen scheinen die Entwickler ziemlich optimistisch in Bezug auf das neue Modell zu sein, zumindest laut dem GPT-4-Übersicht (öffnet in neuem Tab) auf der OpenAI-Website.
„Wir haben einige Fehler gefunden und behoben und unsere theoretischen Grundlagen verbessert. Dadurch war unser GPT-4-Trainingslauf (zumindest für uns!) beispiellos stabil.“
Das werden wir sehen, wenn es mit dem Gaslighting wieder losgeht, trotz der Kernschmelzen (öffnet in neuem Tab) Wir haben gehört, dass sie hauptsächlich über die ChatGPT-Integration von Bing kommen.
ChatGPT-4 ist jetzt für ChatGPT Pro-Benutzer verfügbar, obwohl selbst zahlende Kunden damit rechnen sollten, dass der Dienst “starke Kapazitätsbeschränkungen” hat.