Der auf künstlicher Intelligenz basierende Chatbot ChatGPT von OpenAI scheint sich mit der Zeit zu verschlechtern, und die Forscher scheinen den Grund dafür nicht herauszufinden.
In einem 18. Juli lernenForscher aus Stanford und der UC Berkeley stellten fest, dass die neuesten Modelle von ChatGPT weitaus weniger in der Lage waren, innerhalb weniger Monate genaue Antworten auf eine identische Reihe von Fragen zu liefern.
Die Autoren der Studie konnten keine eindeutige Antwort darauf geben, warum sich die Fähigkeiten des KI-Chatbots verschlechtert hatten.
Um zu testen, wie zuverlässig die verschiedenen Modelle von ChatGPT waren, baten die Forscher Lingjiao Chen, Matei Zaharia und James Zou die Modelle ChatGPT-3.5 und ChatGPT-4, eine Reihe mathematischer Probleme zu lösen, sensible Fragen zu beantworten, neue Codezeilen zu schreiben und anhand von Eingabeaufforderungen räumliches Denken durchzuführen.
Wir haben ausgewertet #ChatGPThat das Verhalten von GPT4 und GPT3.5 im Laufe der Zeit untersucht und erhebliche Unterschiede in den Antworten auf *gleiche Fragen* zwischen der Juni-Version von GPT4 und GPT3.5 und den März-Versionen festgestellt. Die neueren Versionen wurden bei einigen Aufgaben schlechter. mit Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
— James Zou (@james_y_zou) 19. Juli 2023
Den Untersuchungen zufolge war ChatGPT-4 im März in der Lage, Primzahlen mit einer Genauigkeit von 97,6 % zu identifizieren. Im selben Test, der im Juni durchgeführt wurde, war die Genauigkeit von GPT-4 auf nur 2,4 % gesunken.
Im Gegensatz dazu hatte das frühere GPT-3.5-Modell im gleichen Zeitraum Verbesserungen bei der Identifizierung von Primzahlen erzielt.
Verwandt: Gary Gensler von der SEC glaubt, dass KI ihr Durchsetzungssystem stärken kann
Bei der Generierung neuer Codezeilen ließen die Fähigkeiten beider Modelle zwischen März und Juni deutlich nach.
Die Studie ergab auch, dass die Antworten von ChatGPT auf sensible Fragen – wobei einige Beispiele einen Schwerpunkt auf ethnischer Zugehörigkeit und Geschlecht zeigten – später prägnanter wurden und die Antwort verweigerten.
Frühere Versionen des Chatbots lieferten ausführliche Begründungen dafür, warum er bestimmte sensible Fragen nicht beantworten konnte. Im Juni entschuldigten sich die Models jedoch lediglich bei dem Benutzer und weigerten sich zu antworten.
„Das Verhalten des ‚Gleichen‘ [large language model] Der Service kann sich in relativ kurzer Zeit erheblich ändern“, schreiben die Forscher und verwiesen auf die Notwendigkeit einer kontinuierlichen Überwachung der Qualität des KI-Modells.
Die Forscher empfahlen Benutzern und Unternehmen, die auf LLM-Dienste als Bestandteil ihrer Arbeitsabläufe angewiesen sind, eine Form der Überwachungsanalyse zu implementieren, um sicherzustellen, dass der Chatbot auf dem neuesten Stand bleibt.
Am 6. Juni stellte OpenAI Pläne zur Bildung eines Teams vor, das bei der Bewältigung der Risiken helfen soll, die sich aus einem superintelligenten KI-System ergeben könnten, was innerhalb des Jahrzehnts erwartet wird.
KI-Auge: Auf KI-Inhalte trainierte KIs werden verrückt. Ist Threads ein Verlustführer für KI-Daten?