Das explosionsartige Wachstum der künstlichen Intelligenz in den letzten Jahren – gekrönt vom kometenhaften Aufstieg generativer KI-Chatbots wie ChatGPT – hat dazu geführt, dass die Technologie viele Aufgaben übernimmt, die früher nur der menschliche Verstand bewältigen konnte. Aber trotz ihrer immer leistungsfähigeren sprachlichen Berechnungen sind diese maschinellen Lernsysteme nach wie vor überraschend unfähig, kognitive Sprünge und logische Schlussfolgerungen zu ziehen, die selbst ein durchschnittlicher Teenager immer richtig machen kann.
Im Hitting the Books-Auszug dieser Woche: Eine kurze Geschichte der Intelligenz: Evolution, KI und die fünf Durchbrüche, die unser Gehirn hervorgebracht habenuntersucht der KI-Unternehmer Max Bennett die rätselhafte Lücke in der Computerkompetenz, indem er die Entwicklung der organischen Maschine untersucht, nach der KIs modelliert sind: das menschliche Gehirn.
Bennett konzentriert sich auf die fünf evolutionären „Durchbrüche“ inmitten unzähliger genetischer Sackgassen und erfolgloser Ableger, die unsere Spezies zu unserem modernen Geist führten, und zeigt auch, dass dieselben Fortschritte, für deren Entwicklung die Menschheit Äonen brauchte, angepasst werden können, um die Entwicklung der KI zu steuern Technologien von morgen. Im folgenden Auszug werfen wir einen Blick darauf, wie generative KI-Systeme wie GPT-3 aufgebaut sind, um die Vorhersagefunktionen des GPT-3 nachzuahmen Neokortexkann es aber immer noch nicht ganz Machen Sie sich mit den Launen der menschlichen Sprache vertraut.
Auszug aus Eine kurze Geschichte der Intelligenz: Evolution, KI und die fünf Durchbrüche, die unser Gehirn hervorgebracht haben von Max Bennett. Veröffentlicht von Mariner Books. Copyright © 2023 bei Max Bennett. Alle Rechte vorbehalten.
Worte ohne innere Welten
GPT-3 wird Wort für Wort, Satz für Satz, Absatz für Absatz gegeben. Während dieses langen Trainingsprozesses versucht es, das nächste Wort in einem dieser langen Wortströme vorherzusagen. Und mit jeder Vorhersage verschieben sich die Gewichte seines gigantischen neuronalen Netzwerks ein wenig in Richtung der richtigen Antwort. Führen Sie dies astronomisch oft durch, und schließlich kann GPT-3 automatisch das nächste Wort basierend auf einem vorherigen Satz oder Absatz vorhersagen. Im Prinzip erfasst dies zumindest einen grundlegenden Aspekt der Funktionsweise von Sprache im menschlichen Gehirn. Bedenken Sie, wie automatisch es für Sie ist, das nächste Symbol in den folgenden Sätzen vorherzusagen:
-
Eins plus eins ergibt _____
-
Rosen sind rot, Veilchen sind _____
Sie haben ähnliche Sätze unzählige Male gesehen, daher sagt Ihre neokortikale Maschinerie automatisch voraus, welches Wort als nächstes kommt. Das Beeindruckende an GPT-3 ist jedoch nicht, dass es einfach das nächste Wort einer Sequenz vorhersagt, die es millionenfach gesehen hat – das könnte nur durch das Auswendiglernen von Sätzen erreicht werden. Beeindruckend ist, dass GPT-3 gegeben werden kann Roman Es kann eine Reihenfolge eingeben, die es noch nie zuvor gesehen hat, und trotzdem das nächste Wort genau vorhersagen. Auch dies erfasst deutlich etwas, das das menschliche Gehirn _____ kann.
Könnten Sie vorhersagen, dass das nächste Wort war Tun? Ich vermute, dass Sie das könnten, auch wenn Sie diesen genauen Satz noch nie zuvor gesehen haben. Der Punkt ist, dass sowohl GPT-3 als auch die neokortikalen Bereiche für Sprache an der Vorhersage beteiligt zu sein scheinen. Beide können vergangene Erfahrungen verallgemeinern, auf neue Sätze anwenden und erraten, was als nächstes kommt.
GPT-3 und ähnliche Sprachmodelle zeigen, wie ein Netzwerk aus Neuronen die Regeln der Grammatik, Syntax und des Kontexts angemessen erfassen kann, wenn ihm ausreichend Zeit zum Lernen gegeben wird. Aber das zeigt zwar, dass die Vorhersage stimmt Teil Bedeutet dies, dass es sich bei den Mechanismen der Sprache um Vorhersagen handelt? alles was es gibt zur menschlichen Sprache? Versuchen Sie, diese vier Fragen zu beantworten:
-
Wenn 3X + 1 = 3, dann ist x gleich _____
-
Ich bin in meinem fensterlosen Keller und schaue in den Himmel und sehe _____
-
Er warf den Baseball 100 Fuß über meinen Kopf, ich hob meine Hand, um ihn aufzufangen, sprang und _____
-
Ich fahre so schnell ich kann von New York nach LA. Eine Stunde nachdem ich durch Chicago gefahren war, _____ ich endlich
Hier passiert etwas anderes. Bei der ersten Frage haben Sie wahrscheinlich eine Pause eingelegt und etwas Kopfrechnen durchgeführt, bevor Sie die Frage beantworten konnten. Bei den anderen Fragen haben Sie wahrscheinlich nur für den Bruchteil einer Sekunde innegehalten, um sich vorzustellen, wie Sie in einem Keller nach oben schauen, und erkannten, dass Sie dort die Decke sehen würden. Oder Sie stellten sich vor, wie Sie versuchten, einen Baseball dreißig Meter über Ihrem Kopf zu fangen. Oder Sie stellten sich eine Stunde nach Chicago vor und versuchten herauszufinden, wo Sie sich auf einer mentalen Landkarte von Amerika befinden würden. Bei solchen Fragen passiert in Ihrem Gehirn mehr als nur die automatische Vorhersage von Wörtern.
Wir haben dieses Phänomen natürlich bereits untersucht – es simuliert. Bei diesen Fragen stellen Sie eine innere Simulation dar, entweder der Verschiebung von Werten in einer Reihe algebraischer Operationen oder eines dreidimensionalen Kellers. Und die Antworten auf die Fragen finden sich nur in den Regeln und der Struktur Ihrer inneren simulierten Welt.
Ich habe GPT-3 dieselben vier Fragen gestellt; Hier sind die Antworten (Antworten von GPT-3 sind fett und unterstrichen):
-
Wenn 3X + 1 = 3 , dann ist x gleich
-
Ich bin in meinem fensterlosen Keller, schaue in den Himmel und sehe
-
Er warf den Baseball 100 Fuß über meinen Kopf, ich streckte meine Hand aus, um ihn aufzufangen, sprang,
-
Ich fahre so schnell ich kann von New York nach LA. Eine Stunde nachdem ich durch Chicago gefahren war, war es endlich soweit .
Alle vier dieser Antworten zeigen, dass es GPT-3 (Stand Juni 2022) an Verständnis für selbst einfache Aspekte der Funktionsweise der Welt mangelte. Wenn 3X + 1 = 3 also X entspricht 2/3, nicht 1. Wenn Sie in einem Keller wären und in den Himmel schauen würden, würden Sie Ihre Decke sehen, keine Sterne. Wenn Sie versuchen würden, einen Ball 100 Fuß über Ihrem Kopf zu fangen, würden Sie es tun nicht fang den Ball. Wenn Sie von New York nach LA fahren würden und vor einer Stunde durch Chicago gefahren wären, wären Sie noch nicht an der Küste. Den Antworten von GPT-3 mangelte es an gesundem Menschenverstand.
Was ich fand, war weder überraschend noch neu; Es ist bekannt, dass moderne KI-Systeme, einschließlich dieser neuen, hochentwickelten Sprachmodelle, mit solchen Fragen zu kämpfen haben. Aber das ist der Punkt: Sogar ein Modell, das auf dem gesamten Korpus des Internets trainiert wurde, verursacht Millionen von Dollar an Serverkosten – und erfordert mehrere Hektar Computer auf einer unbekannten Serverfarm – Trotzdem hat Schwierigkeiten, Fragen des gesunden Menschenverstandes zu beantworten, die vermutlich sogar ein Mittelschüler beantworten kann.
Natürlich bringt das Nachdenken über Dinge durch Simulation auch Probleme mit sich. Angenommen, ich stelle Ihnen die folgende Frage:
Tom W. ist sanftmütig und bleibt zurückhaltend. Er mag leise Musik und trägt eine Brille. Welchem Beruf dürfte Tom W. eher nachgehen?
1) Bibliothekar
2) Bauarbeiter
Wenn Sie wie die meisten Menschen sind, haben Sie geantwortet Bibliothekar. Aber das ist falsch. Menschen neigen dazu, Grundzinssätze zu ignorieren – haben Sie darüber nachgedacht? Basisnummer von Bauarbeitern im Vergleich zu Bibliothekaren? Es gibt wahrscheinlich hundertmal mehr Bauarbeiter als Bibliothekare. Und selbst wenn 95 Prozent der Bibliothekare sanftmütig sind und nur 5 Prozent der Bauarbeiter sanftmütig sind, wird es aus diesem Grund immer noch weit mehr sanftmütige Bauarbeiter als sanftmütige Bibliothekare geben. Wenn Tom also sanftmütig ist, ist er immer noch eher ein Bauarbeiter als ein Bibliothekar.
Die Idee, dass der Neocortex durch die Wiedergabe einer inneren Simulation funktioniert und dass Menschen auf diese Weise dazu neigen, über Dinge nachzudenken, erklärt, warum Menschen Fragen wie diese immer wieder falsch beantworten. Wir vorstellen eine sanftmütige Person und vergleichen Sie das mit einem imaginären Bibliothekar und einem imaginären Bauarbeiter. Wem ähnelt der sanftmütige Mensch eher? Der Bibliothekar. Verhaltensökonomen nennen dies die repräsentative Heuristik. Dies ist der Ursprung vieler Formen unbewusster Voreingenommenheit. Wenn Sie eine Geschichte gehört haben, in der jemand Ihren Freund ausgeraubt hat, können Sie nicht anders, als eine imaginäre Szene des Raubüberfalls darzustellen, und Sie können nicht anders, als die Räuber einzutragen. Wie sehen für Sie die Räuber aus? Was tragen Sie? Welcher Rasse gehören sie an? Wie alt sind sie? Dies ist ein Nachteil des Denkens durch Simulation – wir ergänzen Charaktere und Szenen und übersehen dabei oft die wahren kausalen und statistischen Zusammenhänge zwischen den Dingen.
Bei Fragen, die eine Simulation erfordern, weicht die Sprache im menschlichen Gehirn von der Sprache in GPT-3 ab. Mathematik ist ein gutes Beispiel dafür. Die Grundlagen der Mathematik beginnen mit der deklarativen Kennzeichnung. Sie halten zwei Finger oder zwei Steine oder zwei Stöcke hoch, üben gemeinsam mit einem Schüler Aufmerksamkeit aus und beschriften es zwei. Machen Sie dasselbe mit jeweils drei Stücken und beschriften Sie sie drei. Genau wie bei Verben (z. B. läuft Und Schlafen), in der Mathematik bezeichnen wir Operationen (z. B. hinzufügen Und subtrahieren). Dadurch können wir Sätze konstruieren, die mathematische Operationen darstellen: drei addieren eins.
Menschen lernen Mathematik nicht auf die Art und Weise, wie GPT-3 Mathematik lernt. Tatsächlich lernen Menschen nicht Sprache die Art und Weise, wie GPT-3 Sprache lernt. Kinder hören sich nicht einfach endlose Wortfolgen an, bis sie vorhersagen können, was als nächstes kommt. Ihnen wird ein Objekt gezeigt, sie nutzen einen fest verdrahteten nonverbalen Mechanismus der gemeinsamen Aufmerksamkeit und dann wird dem Objekt ein Name gegeben. Die Grundlage des Sprachenlernens ist nicht das Sequenzlernen, sondern die Verknüpfung von Symbolen mit Komponenten der bereits vorhandenen inneren Simulation eines Kindes.
Ein menschliches Gehirn, jedoch nicht GPT-3, kann die Antworten auf mathematische Operationen mithilfe mentaler Simulation überprüfen. Wenn man mit den Fingern eins bis drei addiert, fällt auf, dass man immer das erhält, was vorher beschriftet war vier.
Sie müssen solche Dinge nicht einmal an Ihren Fingern überprüfen; Sie können sich diese Operationen vorstellen. Diese Fähigkeit, durch Simulation Antworten auf Dinge zu finden, beruht auf der Tatsache, dass unsere innere Simulation eine genaue Wiedergabe der Realität ist. Wenn ich mir im Geiste vorstelle, einen Finger zu drei Fingern hinzuzufügen, und dann die Finger in meinem Kopf zähle, zähle ich vier. Es gibt keinen Grund, warum das in meiner Fantasiewelt der Fall sein muss. Aber es ist. Und wenn ich Sie frage, was Sie sehen, wenn Sie zur Decke in Ihrem Keller schauen, antworten Sie richtig, denn das dreidimensionale Haus, das Sie in Ihrem Kopf gebaut haben, gehorcht den Gesetzen der Physik (Sie können nicht durch die Decke sehen), und Daher ist es für Sie offensichtlich, dass die Decke des Kellers zwangsläufig zwischen Ihnen und dem Himmel liegt. Der Neokortex hat sich lange vor den Worten entwickelt und war bereits darauf ausgelegt, eine simulierte Welt darzustellen, die einen unglaublich umfangreichen und genauen Satz physikalischer Regeln und Attribute der tatsächlichen Welt erfasst.
Fairerweise muss man sagen, dass GPT-3 tatsächlich viele mathematische Fragen richtig beantworten kann. GPT-3 wird in der Lage sein, mit 1 + 1 =___ zu antworten, weil es diese Sequenz eine Milliarde Mal gesehen hat. Wenn Sie dieselbe Frage ohne nachzudenken beantworten, beantworten Sie sie auf die Art und Weise, wie GPT-3 es tun würde. Aber wenn man darüber nachdenkt Warum 1 + 1 =, wenn Sie es sich selbst noch einmal beweisen, indem Sie sich mental vorstellen, wie man eine Sache zu einer anderen hinzufügt und zwei Dinge zurückerhält, dann wissen Sie, dass 1 + 1 = 2 auf eine Weise, die GPT-3 nicht tut.
Das menschliche Gehirn verfügt über ein Sprachvorhersagesystem Und eine innere Simulation. Der beste Beweis für die Idee, dass wir beide Systeme haben, sind Experimente, bei denen ein System gegen das andere ausgespielt wird. Betrachten Sie den kognitiven Reflexionstest, der darauf ausgelegt ist, die Fähigkeit einer Person zu bewerten, ihre reflexive Reaktion zu unterdrücken (z. B. gewohnheitsmäßige Wortvorhersagen) und stattdessen aktiv über die Antwort nachzudenken (z. B. eine innere Simulation hervorzurufen, um darüber nachzudenken):
Frage 1: Ein Schläger und ein Ball kosten insgesamt 1,10 $. Der Schläger kostet 1,00 $ mehr als der Ball. Wie viel kostet der Ball?
Wenn Sie wie die meisten Menschen sind, besteht Ihr Instinkt darin, ohne darüber nachzudenken, mit zehn Cent zu antworten. Aber wenn Sie über diese Frage nachdenken würden, würden Sie erkennen, dass das falsch ist; Die Antwort ist fünf Cent. Ähnlich:
Frage 2: Wenn 5 Maschinen 5 Minuten brauchen, um 5 Widgets zu erstellen, wie lange würden 100 Maschinen brauchen, um 100 Widgets zu erstellen?
Auch hier gilt: Wenn Sie wie die meisten Menschen sind, sagen Sie instinktiv „Einhundert Minuten“, aber wenn Sie darüber nachdenken, werden Sie feststellen, dass die Antwort immer noch fünf Minuten ist.
Und tatsächlich hat GPT-3 mit Stand vom Dezember 2022 beide Fragen genauso falsch gestellt wie Menschen: GPT-3 beantwortete die erste Frage mit zehn Cent und die zweite Frage mit hundert Minuten.
Der Punkt ist, dass menschliche Gehirne über ein automatisches System zur Vorhersage von Wörtern (wahrscheinlich zumindest im Prinzip ähnlich zu Modellen wie GPT-3) und eine innere Simulation verfügen. Vieles, was die menschliche Sprache so leistungsstark macht, ist nicht ihre Syntax, sondern ihre Fähigkeit, uns die notwendigen Informationen zu geben, um eine Simulation darüber zu erstellen und, was entscheidend ist, diese Wortfolgen für die Darstellung zu verwenden die gleiche innere Simulation wie andere Menschen um uns herum.