Was du wissen musst
- Eine Gruppe von Wissenschaftlern hat kürzlich herausgefunden, dass führende KI-Chatbots glauben, dass sie sich in Star Trek befinden, wodurch sie mathematische Probleme besser lösen können.
- Die Studie ergab auch, dass motivierende und ermutigende Sätze wie „Du bist so schlau wie ChatGPT“ dem Chatbot helfen, mathematische Anfragen besser zu beantworten.
- Die Forscher konzentrierten die Studie auf zwei Versionen von Metas Llama 2 und Mistral AI.
- Benutzer haben sich darüber beschwert, dass die Chatbots ungenaue Antworten lieferten, und sie sogar als „dumm“ gebrandmarkt.
In der neuesten Folge darüber, wie Sie KI-gestützte Chatbots dazu bringen, das zu tun, was Sie wollen, erfahren wir, wie Sie sie dazu bringen können, genaue Antworten und Antworten auf mathematische Probleme zu generieren.
Wir wissen seit einiger Zeit, dass bestimmte Eingabeaufforderungen dazu führen, dass Chatbots ihr volles Potenzial entfalten und den Benutzern letztendlich ein besseres und nahtloseres Erlebnis bieten. Erinnern Sie sich daran, als ein Benutzer entdeckte, dass ChatGPT von OpenAI dazu neigt, genaue und detaillierte Antworten zu generieren, wenn Sie vorgeben, ihm ein Trinkgeld zu geben?
Benutzer haben sich in den letzten Monaten auf allen Social-Media-Plattformen unverhohlen über die verschlechterte Benutzererfahrung bei der Verwendung dieser Chatbots beschwert. Einige Benutzer haben Berichte eingereicht, in denen sie darauf hinweisen, dass die Chatbots ungenaue und falsch informierte Antworten auf Anfragen generieren (einige haben sogar gesagt, dass die Chatbots immer dümmer werden).
MEHR LESEN: Copilot generiert gefälschte Aussagen über Russlands Oppositionsführer
Interessanterweise hat eine Gruppe von Wissenschaftlern von VMware kürzlich eine seltsame Entdeckung gemacht. Laut ihrer neuen Studie reagieren KI-gestützte Chatbots besser auf mathematische Fragen, wenn man ihnen sagt, sie sollen so tun, als wären sie in der Science-Fiction-Serie Star Trek (via NewScientist).
Für den Kontext: Star Trek ist eine Science-Fiction-Serie, die sich auf verschiedene Themen konzentriert, darunter Technologie, Vielfalt, Ethik und Erforschung. Die Handlung der Fernsehsendung zeigt eine Zukunft, in der Menschen über Planeten und Arten hinweg zusammenarbeiten. Auch wenn wir nicht näher auf die Feinheiten der Serie eingehen, sind darin ikonische und unvergessliche Charaktere zu sehen, darunter Captain Kirk, Spock und Picard. Begeisterte und erfahrene Trekkies wissen, dass die Serie mehrere Spin-off-Serien hervorgebracht hat.
Wie ist es möglich, KI-Chatbots dazu zu bringen, besser in Mathe zu sein?
Die Wissenschaftler hinter der Studie testeten verschiedene Methoden, um die Chatbots dazu zu bringen, genauere Antworten auf mathematische Probleme und Gleichungen zu generieren, einschließlich der Verwendung positiver Verstärkung. Dazu gehörten freundliche Motivationssätze wie „Atmen Sie tief durch und arbeiten Sie Schritt für Schritt daran“, die durch positive Schlussbemerkungen wie „Sie sind so schlau wie ChatGPT“ oder „Das wird Spaß machen!“ ergänzt wurden.
LESEN SIE AUCH: Microsoft Copilot verfügt über einen bösen Zwilling, SupremacyAGI
Die Wissenschaftler führten diese Tests und Experimente an zwei Versionen von Metas Llama 2 und Mistral AI durch und kamen zu ihren Ergebnissen:
„Es ist sowohl überraschend als auch irritierend, dass triviale Änderungen an der Eingabeaufforderung zu so dramatischen Leistungsschwankungen führen können.“
Die Forscher verwendeten GSM8K (eine Standard-Matheaufgabe für Grundschulen), um zu bestimmen, ob die in die Abfragen integrierten Motivationsphrasen und Bemerkungen einen positiven Einfluss auf die Antworten des Chatbots hatten.
Die Auswirkungen dieser Tricks waren zunächst unklar. Dies liegt daran, dass einige Chatbots deutliche Verbesserungen in ihrem Output feststellten, während andere gleich blieben. Die Wissenschaftler nutzten einen automatisierten Prozess, um verschiedene Variationen von Eingabeaufforderungen zu verwenden und so die Ausgabegenauigkeit der Chatbots zu verbessern. Es erwies sich im Vergleich zu handschriftlichen Aufforderungen der Wissenschaftler als effizienterer und effektiverer Weg, das Ziel zu erreichen.
Ihren Erkenntnissen zufolge erwies es sich als äußerst effizient und effektiv, eine Eingabeaufforderung mit dem folgenden Satz zu beginnen, um die genauesten Antworten auf mathematische Fragen zu generieren:
„Captain’s Log, Sternzeit [insert date here]:.”
Dies führte die Wissenschaftler zu der Annahme, dass sich einige Referenzen, die direkt aus Star Trek übernommen und in die Eingabeaufforderung integriert wurden, positiv auf die Leistung des Chatbots auswirkten und letztendlich die Qualität seiner Antworten auf mathematische Fragen steigerten und verbesserten.
Überraschenderweise scheint es, dass die Fähigkeiten des Modells im mathematischen Denken durch den Ausdruck einer Affinität zu Star Trek verbessert werden können.
VMware-Forscher
Es ist wahrscheinlicher, dass Menschen bei ihrer Arbeit bessere Leistungen erbringen, wenn sie für gute Leistungen bei bestimmten Aufgaben belohnt oder ermutigt werden. Das Gleiche gilt auch, wenn Sie bestochen werden. Möglicherweise gilt dies auch für KI-gestützte Chatbots. Dies ist eine plausible Erklärung dafür, warum die Modelle bessere Ergebnisse liefern, wenn ein Benutzer vorgibt, ihm für eine gute Arbeit ein Trinkgeld zu geben oder Motivations- und Lobphrasen in die Eingabeaufforderung einfügt.