ChatGPT ist schlau genug, um (gerade so) eine MBA-Prüfung zu bestehen

Es stellt sich heraus, dass das ChatGPT-Programm von OpenAI in der Lage ist, eine MBA-Prüfung zu bestehen – aber nur knapp.

Christian Terwiesch, Professor an der Wharton School der University of Pennsylvania, kürzlich geprüft(Öffnet in einem neuen Fenster) wie gut ChatGPT bei seiner eigenen MBA-Prüfung abschneiden würde, indem er dem KI-gestützten Programm fünf Beispielfragen stellt.

Am Ende erzielte ChatGPT bei den fünf Fragen ein „B to B-“ oder gerade genug, um eine bestandene Note zu erhalten. In einem Forschungsbericht(Öffnet in einem neuen Fenster)geht Terwiesch auf die Leistung des KI-Programms ein, das von herausragenden Antworten bis hin zu anderen reichte, die mit Logikfehlern übersät waren.

Zum Beispiel gab Terwiesch ChatGPT bei drei der Testfragen ein „A+“ für die Bereitstellung der richtigen Antworten und eine prägnante oder hervorragende Erklärung dafür.

Eine Beispielfrage für eine MBA-Prüfung, die ChatGPT gegeben wurde.

Die resultierende Antwort, die ChatGPT ein A+ einbrachte (Credit: Christian Terwiesch/ChatGPT)

Aber bei zwei anderen Fragen erhielt das Programm ein „C“ für die Bereitstellung fehlerhafter Antworten, die zeigten, dass „Chat GPT3 manchmal überraschende Fehler bei relativ einfachen Berechnungen auf dem Niveau der Mathematik der 6. Klasse macht“, schrieb er.

Mit Blick auf die Ergebnisse kam Terwiesch zu dem Schluss, dass sich ChatGPT in Fragen des grundlegenden Betriebsmanagements und der Prozessanalyse auszeichnet. „Die aktuelle Version von ChatGPT ist jedoch nicht in der Lage, fortgeschrittenere Fragen zur Prozessanalyse zu bearbeiten, selbst wenn sie auf ziemlich standardmäßigen Vorlagen basieren“, fügte er hinzu. Wenn also andere und vielleicht schwierigere Fragen gestellt werden, könnte das Programm die Prüfung nicht bestehen.

Dennoch ist ChatGPT so leistungsfähig, dass Terwiesch plant, sich anderen Schulen und Professoren anzuschließen und seine Verwendung für Hausaufgaben und Abschlussprüfungen zu verbieten. Aber er sieht den Chatbot noch nicht als Ersatz für Geschäftsangestellte.

„Wir haben viele Gründe zu der Annahme, dass die Technologie mit der Zeit immer besser wird. Aber wir sind noch weit von einem A+ für komplexe Probleme entfernt und wir brauchen immer noch einen Menschen auf dem Laufenden“, schrieb Terwiesch in seinem Papier. (Ironischerweise sagt er jedoch, dass ChatGPT ihm helfen könnte, zukünftige MBA-Prüfungsfragen in etwa der Hälfte der Zeit zu erstellen, die normalerweise benötigt wird.)

Die andere Einschränkung, mit der ChatGPT konfrontiert ist, besteht darin, dass das KI-Programm nur Antworten basierend auf vorhandenem Wissen liefern kann. Daher fehlt ihm die Kreativität, um innovative Lösungen zu entwickeln, die sich menschliche Unternehmer vorstellen könnten. Auf dieselbe Kreativität sollten sich Lehrer bei der Förderung ihrer Schüler konzentrieren. „Es liegt an uns als Pädagogen, solch ein Denken über den Tellerrand hinaus zu belohnen, wenn nicht sogar zu fordern“, fügte Terwiesch hinzu.