Im Februar hat Demis Hassabis, der CEO von GoogleDas KI-Forschungslabor DeepMind warnte davor, dass die Verwendung zunehmender Rechenmengen für die heute weit verbreiteten Arten von KI-Algorithmen zu sinkenden Erträgen führen könnte. Um sozusagen die „nächste Stufe“ der KI zu erreichen, seien laut Hassabis stattdessen grundlegende Forschungsdurchbrüche erforderlich, die tragfähige Alternativen zu den heute etablierten Ansätzen hervorbringen.
Ex-Tesla Ingenieur George Morgan stimmt zu. Also gründete er ein Startup, Symbolica AIum genau das zu tun.
„Traditionelle Deep-Learning- und generative Sprachmodelle erfordern unvorstellbaren Umfang, Zeit und Energie, um nützliche Ergebnisse zu erzielen“, sagte Morgan gegenüber TechCrunch. „Durch Bauen [novel] Mithilfe von Modellen kann Symbolica eine höhere Genauigkeit bei geringeren Datenanforderungen, kürzerer Trainingszeit, geringeren Kosten und nachweislich korrekt strukturierten Ausgaben erzielen.“
Morgan brach das College in Rochester ab, um zu Tesla zu wechseln, wo er im Team arbeitete, das Autopilot entwickelte, Teslas Suite fortschrittlicher Fahrerassistenzfunktionen.
Während seiner Zeit bei Tesla sei ihm laut Morgan klar geworden, dass aktuelle KI-Methoden – die sich größtenteils auf die Skalierung der Rechenleistung konzentrierten – auf lange Sicht nicht nachhaltig sein würden.
„Aktuelle Methoden haben nur einen Hebel zum Drehen: den Maßstab vergrößern und auf neues Verhalten hoffen“, sagte Morgan. „Die Skalierung erfordert jedoch mehr Rechenleistung, mehr Speicher, mehr Geld für die Schulung und mehr Daten. Aber eventuell, [this] bringt Ihnen keine wesentlich bessere Leistung.“
Morgan ist nicht der Einzige, der zu diesem Schluss kommt.
In einem Memo In diesem Jahr sagten zwei Führungskräfte des Halbleiterherstellers TSMC, dass die Branche einen Chip mit 1 Billion Transistoren benötigen werde, wenn der KI-Trend in seinem derzeitigen Tempo anhalte – einen Chip, der zehnmal so viele Transistoren wie der durchschnittliche Chip von heute enthält. innerhalb eines Jahrzehnts.
Es ist unklar, ob das technologisch machbar ist.
An anderer Stelle kommt ein (unveröffentlichter) von Stanford und Epoch AI, einem unabhängigen KI-Forschungsinstitut, gemeinsam verfasster Bericht zu dem Schluss, dass die Kosten für das Training hochmoderner KI-Modelle im vergangenen Jahr erheblich gestiegen sind und sich ändern. Die Autoren des Berichts schätzen, dass OpenAI und Google rund 78 Millionen US-Dollar bzw. 191 Millionen US-Dollar für das Training von GPT-4 und Gemini Ultra ausgegeben haben.
Da die Kosten noch weiter steigen werden – siehe OpenAI und Microsoft berichtete über Pläne für a 100-Milliarden-Dollar-KI-Rechenzentrum – Morgan begann mit der Untersuchung dessen, was er „strukturierte“ KI-Modelle nennt. Diese strukturierten Modelle kodieren die zugrunde liegende Datenstruktur – daher der Name –, anstatt wie herkömmliche Modelle zu versuchen, Erkenntnisse aus riesigen Datensätzen zu approximieren. Dadurch können sie das erreichen, was Morgan als bessere Leistung mit weniger Gesamtrechenaufwand bezeichnet.
„Es ist möglich, domänenspezifische Fähigkeiten zum strukturierten Denken in viel kleineren Modellen zu entwickeln“, sagte er, „durch die Verbindung eines umfassenden mathematischen Toolkits mit Durchbrüchen im Bereich Deep Learning.“
Symbolische KI ist nicht gerade ein neues Konzept. Sie reichen Jahrzehnte zurück und basieren auf der Idee, dass KI auf Symbolen aufgebaut werden kann, die Wissen mithilfe einer Reihe von Regeln darstellen.
Herkömmliche symbolische KI löst Aufgaben durch die Definition symbolmanipulierender Regelsätze für bestimmte Aufgaben, beispielsweise das Bearbeiten von Textzeilen in Textverarbeitungsprogrammen. Im Gegensatz dazu versuchen neuronale Netze, Aufgaben durch statistische Approximation und Lernen aus Beispielen zu lösen. Symbolica möchte das Beste aus beiden Welten nutzen.
Neuronale Netze sind der Eckpfeiler leistungsstarker KI-Systeme wie DALL-E 3 und GPT-4 von OpenAI. Aber, so Morgan, die Größe sei nicht das A und O; Die Verbindung mathematischer Abstraktionen mit neuronalen Netzen könnte tatsächlich besser geeignet sein, das Wissen der Welt effizient zu kodieren, sich durch komplexe Szenarien zurechtzufinden und zu „erklären“, wie sie zu einer Antwort gelangen, argumentiert Morgan.
„Unsere Modelle sind zuverlässiger, transparenter und nachvollziehbarer“, sagte Morgan. „Es gibt immense kommerzielle Anwendungen von strukturierten Argumentationsfunktionen, insbesondere für die Codegenerierung – also das Denken über große Codebasen und die Generierung nützlichen Codes –, wo bestehende Angebote unzureichend sind.“
Das von seinem 16-köpfigen Team entwickelte Produkt von Symbolica ist ein Toolkit zur Erstellung symbolischer KI-Modelle und Modelle, die für bestimmte Aufgaben vorab trainiert wurden, einschließlich der Generierung von Code und dem Beweis mathematischer Theoreme. Das genaue Geschäftsmodell ist im Wandel. Aber Symbolica könnte Beratungsdienste und Unterstützung für Unternehmen anbieten, die mithilfe seiner Technologien maßgeschneiderte Modelle erstellen möchten, sagte Morgan.
„Das Unternehmen wird eng mit großen Unternehmenspartnern und Kunden zusammenarbeiten und individuell strukturierte Modelle mit deutlich verbesserten Argumentationsfähigkeiten entwickeln – maßgeschneidert auf die individuellen Kundenbedürfnisse“, sagte Morgan. „Sie werden außerdem hochmoderne Code-Synthesemodelle entwickeln und an große Unternehmenskunden verkaufen.“
Heute startet Symbolica aus dem Verborgenen heraus, das Unternehmen hat also keine Kunden – zumindest keine, über die es öffentlich sprechen möchte. Morgan gab jedoch bekannt, dass Symbolica Anfang des Jahres unter der Leitung von Khosla Ventures eine Investition in Höhe von 33 Millionen US-Dollar getätigt hat. Weitere Investoren waren Abstract Ventures, Buckley Ventures, Day One Ventures und General Catalyst.
Tatsächlich sind 33 Millionen US-Dollar keine geringe Zahl; Die Unterstützer von Symbolica haben offensichtlich Vertrauen in die Wissenschaft und Roadmap des Startups. Vinod Khosla, der Gründer von Khosla Ventures, teilte mir per E-Mail mit, dass Symbolica seiner Meinung nach „einige der wichtigsten Herausforderungen bewältigt, denen sich die KI-Branche heute gegenübersieht“.
„Um die kommerzielle Einführung von KI in großem Maßstab und die Einhaltung gesetzlicher Vorschriften zu ermöglichen, benötigen wir Modelle mit strukturierten Ergebnissen, die mit weniger Ressourcen eine höhere Genauigkeit erreichen können“, sagte Khosla. „George hat eines der besten Teams der Branche zusammengestellt, um genau das zu erreichen.“
Andere sind jedoch weniger davon überzeugt, dass symbolische KI der richtige Weg ist.
Os Keyes, ein Doktorand an der University of Washington mit Schwerpunkt auf Recht und Datenethik, stellt fest, dass symbolische KI-Modelle auf hochstrukturierten Daten basieren, was sie sowohl „extrem spröde“ als auch kontext- und spezifitätsabhängig macht. Mit anderen Worten: Die symbolische KI benötigt klar definiertes Wissen, um zu funktionieren – und die Definition dieses Wissens kann sehr arbeitsintensiv sein.
„Dies könnte immer noch interessant sein, wenn es die Vorteile von Deep Learning und symbolischen Ansätzen vereint“, sagte Keyes und bezog sich dabei auf DeepMinds kürzlich veröffentlichtes AlphaGeometry, das neuronale Netze mit einem symbolischen, von der KI inspirierten Algorithmus kombiniert, um anspruchsvolle Geometrieprobleme zu lösen. „Aber die Zeit wird es zeigen.“
Morgan entgegnete, dass die derzeitigen Schulungsmethoden bald nicht mehr in der Lage sein werden, die Anforderungen von Unternehmen zu erfüllen, die KI für ihre Zwecke nutzen möchten, sodass es sich lohnt, in vielversprechende Alternativen zu investieren. Und Symbolica sei dafür strategisch gut positioniert, behauptete er Zukunft, da die neueste Finanzierungstranche über „mehrere Jahre“ Laufzeit verfügt und die Modelle relativ klein (und daher günstig) zu trainieren und zu betreiben sind.
„Aufgaben wie beispielsweise die Automatisierung der Softwareentwicklung im großen Maßstab erfordern Modelle mit formalen Argumentationsfunktionen und geringeren Betriebskosten, um große Codedatenbanken zu analysieren und nützlichen Code zu erstellen und zu iterieren“, sagte er. „Die öffentliche Wahrnehmung von KI-Modellen ist immer noch so, dass ‚Größe ist alles, was Sie brauchen‘. Symbolisches Denken ist absolut notwendig, um auf diesem Gebiet Fortschritte zu machen – strukturierte und erklärbare Ergebnisse mit formalen Argumentationsfähigkeiten werden erforderlich sein, um den Anforderungen gerecht zu werden.“
Es gibt nicht viel, was ein großes KI-Labor wie DeepMind davon abhält, seine eigenen symbolischen KI- oder Hybridmodelle zu entwickeln, und – abgesehen von Symbolicas Differenzierungsmerkmalen – betritt Symbolica ein äußerst überfülltes und gut kapitalisiertes KI-Feld. Aber Morgan rechnet dennoch mit Wachstum und geht davon aus, dass sich die Belegschaft des in San Francisco ansässigen Unternehmens Symbolica bis 2025 verdoppeln wird.