Der KI-Bot ChatGPT wurde in den letzten Wochen bei einer Reihe von Aufgaben auf die Probe gestellt, und seine neueste Herausforderung kommt mit freundlicher Genehmigung von Informatikforschern der Johannes Gutenberg-Universität und des University College London, die finden(Öffnet in einem neuen Fenster) dass ChatGPT Fehler mit Beispielcode ausmerzen und besser beheben kann als bestehende Programme, die dafür entwickelt wurden.
Die Forscher gaben 40 Teile fehlerhaften Codes an vier verschiedene Codefixierungssysteme weiter: ChatGPT, Codex, CoCoNut und Standard APR. Im Wesentlichen fragten sie ChatGPT: „Was ist falsch an diesem Code?“ und dann kopieren und in die Chat-Funktion einfügen.
Beim ersten Durchgang schnitt ChatGPT in etwa so gut ab wie die anderen Systeme. ChatGPT hat 19 Probleme gelöst, Codex hat 21 gelöst, CoCoNut hat 19 gelöst und Standard-APR-Methoden haben sieben herausgefunden. Die Forscher stellten fest, dass die Antworten Codex am ähnlichsten waren, was „nicht überraschend war, da ChatGPT und Codex aus derselben Familie von Sprachmodellen stammen“.
Die Möglichkeit, nach Erhalt der ersten Antwort mit ChatGPT zu chatten, machte jedoch den Unterschied, was letztendlich dazu führte, dass ChatGPT 31 Fragen löste und die anderen, die eher statische Antworten lieferten, leicht übertraf.
„Ein großer Vorteil von ChatGPT ist, dass wir mit dem System in einem Dialog interagieren können, um eine Anfrage genauer zu spezifizieren“, heißt es in dem Bericht der Forscher. „Wir sehen, dass ChatGPT bei den meisten unserer Anfragen nach weiteren Informationen über das Problem und den Fehler fragt. Durch die Bereitstellung solcher Hinweise an ChatGPT kann seine Erfolgsquote weiter erhöht werden, indem 31 von 40 Fehlern behoben werden und der Stand der Technik übertroffen wird -Kunst.”
Sie fanden heraus, dass ChatGPT einige Probleme schnell lösen konnte, während andere mehr hin und her brauchten. „ChatGPT scheint eine relativ hohe Varianz beim Beheben von Fehlern zu haben“, heißt es in der Studie. „Für einen Endbenutzer bedeutet dies jedoch, dass es hilfreich sein kann, Anfragen mehrfach auszuführen.“
Als die Forscher beispielsweise die unten abgebildete Frage stellten, erwarteten sie, dass ChatGPT einen Austausch empfiehlt n^=n-1 mit n&=n-1, aber das erste, was ChatGPT sagte, war: “Ich kann ohne weitere Informationen zum erwarteten Verhalten nicht sagen, ob das Programm einen Fehler hat.” Bei der dritten Antwort von ChatGPT wurde das Problem nach weiteren Aufforderungen von Forschern gefunden.
(Credit: Dominik Sobania, Martin Briesch, Carol Hanna, Justyna Petke)
Als PCMag jedoch dieselbe Frage in ChatGPT eingab, antwortete es anders. Anstatt ihm sagen zu müssen, was das erwartete Verhalten ist, hat es erraten, was es war. ChatGPT lernt immer auf der Grundlage von Eingaben von Benutzern, und es scheint, dass es gelernt hat, was dieses Stück Code tun soll – vielleicht von den Forschern, die die Studie durchgeführt haben. Der Austausch, den wir hatten, war anders als der der Forscher und wird wahrscheinlich auch beim nächsten Mal anders sein.
ChatGPT-Antwort (Credit: Emily Dreibelbis/ChatGPT)
Der Erfolg der Studie hat das Potenzial, das Bestehende neu zu definieren, 600-Millionen-Dollar-Industrie(Öffnet in einem neuen Fenster) Es widmet sich der Unterstützung von Softwareentwicklern beim Finden und Beheben von Fehlern. Beliebte Plattformen wie z Posten(Öffnet in einem neuen Fenster) sind zu Standardwerkzeugen in Softwareteams geworden und beschleunigen ihre Fähigkeit, funktionierenden Code zu erstellen, indem sie Berichte zu Problemen erstellen und Lösungen vorschlagen.
Von unseren Redakteuren empfohlen
So wie Google ein “Alarmstufe Rot(Öffnet in einem neuen Fenster)” In Bezug auf die beeindruckenden Suchergebnisse von ChatGPT sperren Lehrer den Schülerzugriff, um Betrug zu verhindern. ChatGPT hat kürzlich eine von einem Wharton-Professor ausgestellte MBA-Prüfung bestanden, wenn auch nur knapp.
Unternehmen, die Bugfixing-Software entwickeln – und Softwareentwickler selbst – nehmen dies zur Kenntnis. Ein offensichtliches Hindernis für Technologieunternehmen, ChatGPT auf einer Plattform wie Sentry in seiner aktuellen Form einzuführen, ist jedoch, dass es sich um eine öffentliche Datenbank handelt (der letzte Ort, an den ein Unternehmen möchte, dass seine Ingenieure begehrtes geistiges Eigentum senden).
Der nächste Schritt von ChatGPT ist die Einführung einer kostenpflichtigen Version, angeblich für 42 US-Dollar pro Monat.
Anmerkung der Redaktion: Diese Geschichte besagte ursprünglich, dass die Forscher von der Cornell University stammten. Ihr Artikel wurde auf arXiv.org veröffentlicht, das von der Cornell University Library verwaltet wird, aber sie stammen von der Johannes Gutenberg University und dem University College London.
Holen Sie sich unsere besten Geschichten!
Melden Sie sich an für Was ist jetzt neu um unsere Schlagzeilen jeden Morgen in Ihren Posteingang zu bekommen.
Dieser Newsletter kann Werbung, Angebote oder Affiliate-Links enthalten. Das Abonnieren eines Newsletters erklärt Ihr Einverständnis mit unseren Nutzungsbedingungen und Datenschutz-Bestimmungen. Sie können die Newsletter jederzeit abbestellen.