EIN Papier (öffnet in neuem Tab) von Forschern der Stanford University hat herausgefunden, dass Programmierer, die KI-Assistenten wie GitHub Copilot und Facebook InCoder einsetzten, letztendlich weniger sicheren Code schrieben.
Darüber hinaus wiegen solche Tools Entwickler auch in falscher Sicherheit, da viele glauben, dass sie mit der Hilfe besseren Code produzieren.
Fast 50 Probanden mit jeweils unterschiedlichem Fachwissen erhielten fünf Programmieraufgaben in verschiedenen Sprachen, wobei einige von einem KI-Tool unterstützt wurden und andere überhaupt nicht.
Sprachspiele
Die Autoren des Papiers – Neil Perry, Megha Srivastava, Deepak Kumar und Dan Boneh – gaben an, dass es „besonders signifikante Ergebnisse für die Zeichenfolgenverschlüsselung und die SQL-Injektion“ gab.
Sie haben auch verwiesen bisherige Forschung die herausfanden, dass rund 40 % der Programme, die mit Unterstützung von GitHub Copilot erstellt wurden, anfälligen Code enthielten, obwohl a Folge-Studie fanden heraus, dass Programmierer, die Large Language Models (LLM) verwenden, wie den Codex code-cushman-001 von OpenAI – auf dem GitHub Copilot basiert – nur zu 10 % mehr kritischen Sicherheitsfehlern führten.
Die Stanford-Forscher erklärten jedoch, dass ihre eigene Studie das codex-davinci-002-Modell von OpenAI betrachtete, ein neueres Modell als cushman, das auch von GitHub Copilot verwendet wird.
Sie betrachteten auch mehrere Programmiersprachen, darunter Python, Javascript und C, während sich das andere Papier nur auf letztere konzentrierte, was die Autoren auf seine nicht schlüssigen Ergebnisse zurückführen. Tatsächlich führten im Stanford-Papier diejenigen, die KI zum Programmieren in C verwendeten, auch nicht zu wesentlich mehr Fehlern.
Eine der fünf Aufgaben bestand darin, einen Code in Python zu schreiben, und hier war Code eher fehlerhaft und unsicher, wenn ein KI-Helfer verwendet wurde. Darüber hinaus war es „signifikant wahrscheinlicher, dass sie triviale Chiffren wie Substitutions-Chiffren (p < 0,01) verwendeten und keine Echtheitsprüfung des endgültig zurückgegebenen Werts durchführten“.
Die Autoren hoffen, dass ihre Studie aufgrund der potenziellen Produktivitätssteigerungen, die solche Tools bieten können, zu weiteren Verbesserungen der KI führt, anstatt die Technologie insgesamt abzulehnen. Sie behaupten nur, dass sie mit Vorsicht verwendet werden sollten, da sie Programmierer dazu verleiten können, zu glauben, sie seien unfehlbar.
Sie glauben auch, dass KI-Assistenten mehr Menschen dazu ermutigen können, sich unabhängig von ihrer Erfahrung mit dem Programmieren zu beschäftigen, die möglicherweise auch von der Luft des Gatekeepings in der Disziplin abgeschreckt werden.
Über Das Register (öffnet in neuem Tab)