Seine Gruppe beschloss, es herauszufinden. Sie haben die neue, abwechslungsreiche Version von AlphaZero entwickelt, die mehrere KI-Systeme umfasst, die unabhängig voneinander und in verschiedenen Situationen trainierten. Der Algorithmus, der das Gesamtsystem steuert, fungiert als eine Art virtueller Partnervermittler, sagte Zahavy: Er soll ermitteln, welcher Agent die besten Erfolgschancen hat, wenn es an der Zeit ist, etwas zu unternehmen. Er und seine Kollegen programmierten außerdem einen „Diversitätsbonus“ ein – eine Belohnung für das System, wann immer es Strategien aus einer großen Auswahl an Möglichkeiten wählte.
Als das neue System eingeführt wurde, um seine eigenen Spiele zu spielen, stellte das Team eine große Vielfalt fest. Der abwechslungsreiche KI-Spieler experimentierte mit neuen, effektiven Eröffnungen und neuartigen – aber fundierten – Entscheidungen über spezifische Strategien, etwa wann und wo er rochieren sollte. In den meisten Spielen besiegte es das ursprüngliche AlphaZero. Das Team stellte außerdem fest, dass die abwechslungsreiche Version doppelt so viele Herausforderungsrätsel lösen konnte wie das Original und mehr als die Hälfte des gesamten Penrose-Rätselkatalogs lösen konnte.
„Die Idee ist, dass wir hier nicht eine Lösung oder eine einzelne Politik finden, die jeden Spieler schlagen würde.“ [it uses] die Idee der kreativen Vielfalt“, sagte Cully.
Durch den Zugriff auf mehr und unterschiedliche gespielte Spiele, so Zahavy, habe das abwechslungsreiche AlphaZero mehr Optionen für schwierige Situationen, wenn diese auftauchen. „Wenn man die Art der Spiele kontrollieren kann, die es sieht, kontrolliert man im Grunde auch, wie es verallgemeinert wird“, sagte er. Diese seltsamen intrinsischen Belohnungen (und die damit verbundenen Bewegungen) könnten zu Stärken für verschiedene Verhaltensweisen werden. Dann könnte das System lernen, die unterschiedlichen Ansätze zu bewerten und zu bewerten und zu erkennen, wann sie am erfolgreichsten waren. „Wir haben festgestellt, dass diese Gruppe von Agenten tatsächlich zu einer Einigung über diese Positionen kommen kann.“
Und vor allem gehen die Auswirkungen über das Schach hinaus.
Kreativität im wirklichen Leben
Cully sagte, ein diversifizierter Ansatz könne jedem KI-System helfen, nicht nur solchen, die auf verstärkendem Lernen basieren. Er nutzt seit langem Diversität, um physische Systeme zu trainieren, darunter a sechsbeiniger Roboter Das durfte verschiedene Arten von Bewegungen erforschen, bevor er es absichtlich „verletzte“, sodass es sich mit einigen der Techniken, die es zuvor entwickelt hatte, weiterbewegen konnte. „Wir haben einfach versucht, Lösungen zu finden, die sich von allen bisherigen Lösungen unterscheiden, die wir bisher gefunden haben.“ Seit Kurzem arbeitet er auch mit Forschern zusammen, um Diversität zu nutzen, um vielversprechende neue Medikamentenkandidaten zu identifizieren und effektive Aktienhandelsstrategien zu entwickeln.
„Das Ziel besteht darin, eine große Sammlung potenziell tausender verschiedener Lösungen zu generieren, wobei sich jede Lösung stark von der anderen unterscheidet“, sagte Cully. So konnte das Gesamtsystem – so wie es der vielseitige Schachspieler gelernt hat – für jede Art von Problem die bestmögliche Lösung auswählen. Das KI-System von Zahavy, sagte er, zeige deutlich, wie „die Suche nach vielfältigen Strategien dabei hilft, über den Tellerrand hinauszuschauen und Lösungen zu finden“.
Zahavy vermutet, dass Forscher KI-Systeme nur dazu bringen müssen, mehr Optionen in Betracht zu ziehen, damit sie kreativ denken können. Diese Hypothese legt eine merkwürdige Verbindung zwischen Menschen und Maschinen nahe: Vielleicht ist Intelligenz nur eine Frage der Rechenleistung. Bei einem KI-System läuft Kreativität möglicherweise auf die Fähigkeit hinaus, aus einem ausreichend großen Angebot an Optionen auszuwählen. Da das System Belohnungen für die Auswahl verschiedener optimaler Strategien erhält, wird diese Art der kreativen Problemlösung verstärkt und gestärkt. Letztendlich könnte es theoretisch jede Art von Problemlösungsstrategie nachahmen, die beim Menschen als kreativ anerkannt wird. Kreativität würde zu einem Rechenproblem werden.
Liemhetcharat stellte fest, dass ein diversifiziertes KI-System das umfassendere Generalisierungsproblem beim maschinellen Lernen wahrscheinlich nicht vollständig lösen kann. Aber es ist ein Schritt in die richtige Richtung. „Es mildert einen der Mängel“, sagte sie.
In praktischer Hinsicht stimmen Zahavys Ergebnisse mit jüngsten Bemühungen überein, die zeigen, wie Zusammenarbeit zu einer besseren Leistung bei schwierigen Aufgaben zwischen Menschen führen kann. Die meisten Hits auf der Billboard 100-Liste wurden beispielsweise von Songwriter-Teams geschrieben, nicht von Einzelpersonen. Und es gibt noch Raum für Verbesserungen. Der vielfältige Ansatz ist derzeit rechenintensiv, da er viel mehr Möglichkeiten berücksichtigen muss als ein typisches System. Zahavy ist auch nicht davon überzeugt, dass selbst das abwechslungsreiche AlphaZero das gesamte Spektrum an Möglichkeiten abdeckt.
„Ich immer noch [think] Es gibt Raum für unterschiedliche Lösungen“, sagte er. „Mir ist nicht klar, dass es angesichts aller Daten auf der Welt so etwas gibt.“ [only] Eine Antwort auf jede Frage.â€
Originelle Geschichte Nachdruck mit Genehmigung von Quanta-Magazin, eine redaktionell unabhängige Veröffentlichung der Simons-Stiftung Deren Aufgabe ist es, das öffentliche Verständnis der Wissenschaft zu verbessern, indem sie Forschungsentwicklungen und -trends in der Mathematik sowie den Physik- und Biowissenschaften abdeckt.