KI-gestützte Chatbots wie z wie ChatGPT und Google Bard sicherlich einen Moment haben – die nächste Generation von Konversationssoftware-Tools verspricht, alles zu tun, von der Übernahme unserer Websuche über die Erstellung eines endlosen Vorrats an kreativer Literatur bis hin zum Erinnern an das gesamte Wissen der Welt, damit wir es nicht müssen.
ChatGPT, Google Bard und andere ähnliche Bots sind Beispiele dafür große Sprachmodelle, oder LLMs, und es lohnt sich, sich mit ihrer Funktionsweise vertraut zu machen. Das bedeutet, dass Sie sie besser nutzen können und besser einschätzen können, worin sie gut sind (und worauf man ihnen wirklich nicht vertrauen sollte).
Wie viele künstliche Intelligenzsysteme – etwa diejenigen, die Ihre Stimme erkennen oder Katzenbilder generieren sollen – werden LLMs mit riesigen Datenmengen trainiert. Die dahinter stehenden Unternehmen waren eher zurückhaltend, wenn es darum ging, genau zu enthüllen, woher diese Daten stammen, aber es gibt bestimmte Hinweise, die wir uns ansehen können.
Zum Beispiel, die Forschungsarbeit Bei der Einführung des LaMDA-Modells (Language Model for Dialogue Applications), auf dem Bard aufbaut, werden Wikipedia, „öffentliche Foren“ und „Codedokumente von Websites mit Bezug zur Programmierung wie Q&A-Sites, Tutorials usw.“ erwähnt. Unterdessen reddit möchte mit dem Laden beginnen für den Zugriff auf seine 18-jährigen Textgespräche, und StackOverflow hat gerade Pläne angekündigt, ebenfalls mit dem Aufladen zu beginnen. Die Implikation hierin ist, dass LLMs beide Sites bis zu diesem Zeitpunkt ausgiebig als Quellen genutzt haben, völlig kostenlos und auf dem Rücken der Menschen, die diese Ressourcen erstellt und genutzt haben. Es ist klar, dass viel von dem, was öffentlich im Internet verfügbar ist, von LLMs gekratzt und analysiert wurde.
Alle diese Textdaten, woher sie auch kommen, werden über ein neuronales Netzwerk verarbeitet, eine häufig verwendete Art von KI-Engine, die aus mehreren Knoten und Schichten besteht. Diese Netzwerke passen die Art und Weise, wie sie Daten interpretieren und interpretieren, kontinuierlich an, basierend auf einer Vielzahl von Faktoren, einschließlich der Ergebnisse früherer Versuche und Irrtümer. Die meisten LLMs verwenden eine spezifische neurale Netzwerkarchitektur Transformator genannt, das einige Tricks enthält, die besonders für die Sprachverarbeitung geeignet sind. (Dieses GPT nach Chat steht für Generative Pretrained Transformer.)
Insbesondere kann ein Transformer riesige Textmengen lesen, Muster in der Beziehung zwischen Wörtern und Sätzen erkennen und dann Vorhersagen darüber treffen, welche Wörter als nächstes kommen sollten. Sie haben vielleicht gehört, dass LLMs mit aufgeladenen Autokorrektur-Engines verglichen werden, und das ist eigentlich nicht allzu weit daneben: ChatGPT und Bard „wissen“ nichts wirklich, aber sie sind sehr gut darin, herauszufinden, welches Wort auf das andere folgt, was zu beginnen beginnt wie echter Gedanke und Kreativität aussehen, wenn es ein ausreichend fortgeschrittenes Stadium erreicht.
Eine der wichtigsten Innovationen dieser Transformatoren ist der Selbstaufmerksamkeitsmechanismus. Es ist schwierig, es in einem Absatz zu erklären, aber im Wesentlichen bedeutet es, dass Wörter in einem Satz nicht isoliert betrachtet werden, sondern auf vielfältige Weise in Beziehung zueinander gesetzt werden. Es ermöglicht ein besseres Verständnis, als es sonst möglich wäre.
In den Code ist eine gewisse Zufälligkeit und Variation eingebaut, weshalb Sie nicht jedes Mal die gleiche Antwort von einem Transformer-Chatbot erhalten. Diese Autokorrektur-Idee erklärt auch, wie sich Fehler einschleichen können. Grundsätzlich wissen ChatGPT und Google Bard nicht, was genau ist und was nicht. Sie suchen nach Antworten, die plausibel und natürlich erscheinen und mit den Daten übereinstimmen, mit denen sie trainiert wurden.