Die Kosten für weitere Fortschritte in der künstlichen Intelligenz werden so erschreckend wie eine Halluzination durch ChatGPT. Die Nachfrage nach den als GPUs bezeichneten Grafikchips, die für groß angelegte KI-Schulungen benötigt werden, hat die Preise der entscheidenden Komponenten in die Höhe getrieben durch das Dach. OpenAI hat erklärt, dass das Training des Algorithmus, der jetzt ChatGPT antreibt, das Unternehmen über 100 Millionen US-Dollar gekostet hat. Der Wettlauf um die Konkurrenz im KI-Bereich führt auch dazu, dass Rechenzentren zunehmend besorgniserregend sind Energiemengen.
Der KI-Goldrausch bringt einige Startups dazu, mutige Pläne zu entwickeln, um neue Rechenschaufeln zu entwickeln und zu verkaufen. Nvidias GPUs sind bei weitem die beliebteste Hardware für die KI-Entwicklung, aber diese Emporkömmlinge argumentieren, dass es an der Zeit ist, die Art und Weise, wie Computerchips entworfen werden, radikal zu überdenken.
Normales Rechnenein Startup, das von Veteranen von Google Brain und Alphabets Moonshot Lab X gegründet wurde, hat ein entwickelt einfacher Prototyp Das ist ein erster Schritt in Richtung eines Neustarts der Computertechnik von Grund auf.
Ein herkömmlicher Siliziumchip führt Berechnungen durch, indem er binäre Bits – also Nullen und Einsen – verarbeitet, die Informationen darstellen. Die stochastische Verarbeitungseinheit (SPU) von Normal Computing nutzt die thermodynamischen Eigenschaften elektrischer Oszillatoren, um Berechnungen mithilfe zufälliger Fluktuationen durchzuführen, die innerhalb der Schaltkreise auftreten. Dadurch können Zufallsstichproben generiert werden, die für Berechnungen oder zur Lösung linearer Algebra-Berechnungen nützlich sind, die in Wissenschaft, Technik und maschinellem Lernen allgegenwärtig sind.
Faris Sbahi, CEO von Normal Computing, erklärt, dass die Hardware sowohl hocheffizient als auch gut für die Durchführung statistischer Berechnungen geeignet sei. Dies könnte es eines Tages nützlich für die Entwicklung von KI-Algorithmen machen, die mit Unsicherheit umgehen können, und möglicherweise der Tendenz großer Sprachmodelle entgegenwirken, Ausgaben zu „halluzinieren“, wenn sie unsicher sind.
Sbahi sagt, der jüngste Erfolg der generativen KI sei beeindruckend, aber noch lange nicht die endgültige Form der Technologie. „Es ist ziemlich klar, dass es da draußen etwas Besseres gibt, was Softwarearchitekturen und auch Hardware betrifft“, sagt Sbahi. Zuvor arbeiteten er und seine Mitbegründer bei Alphabet im Bereich Quantencomputing und KI. Mangelnde Fortschritte bei der Nutzung von Quantencomputern für maschinelles Lernen veranlassten sie, über andere Möglichkeiten nachzudenken, die Physik für die für die KI erforderlichen Berechnungen zu nutzen.
Ein weiteres Team ehemaliger Quantenforscher von Alphabet musste gründen Extropisch, ein Unternehmen, das sich immer noch im Verborgenen befindet und einen noch ehrgeizigeren Plan für den Einsatz thermodynamischer Berechnungen für KI zu haben scheint. „Wir versuchen, die gesamte neuronale Datenverarbeitung eng in einen analogen thermodynamischen Chip zu integrieren“, sagt Guillaume Verdon, Gründer und CEO von Extropic. „Wir nutzen unsere Erkenntnisse aus Quantencomputing-Software und -Hardware und übertragen sie auf das thermodynamische Full-Stack-Paradigma.“ (Verdon wurde kürzlich als die Person hinter dem beliebten Meme-Account auf X enthüllt Beff Jezosverbunden mit dem sogenannten wirksame Akzelerationismus-Bewegung das fördert die Idee eines Fortschritts in Richtung einer „technokapitalischen Singularität“.)
Die Idee, dass ein umfassenderes Umdenken im Bereich Computing erforderlich ist, könnte an Dynamik gewinnen, da die Branche Schwierigkeiten hat, das Mooresche Gesetz einzuhalten, die langjährige Vorhersage, dass die Dichte von Komponenten auf Chips weiter abnimmt. „Selbst wenn Moores Gesetz nicht zu einer Verlangsamung führen würde, haben Sie immer noch ein massives Problem, denn die Modellgrößen, die OpenAI und andere veröffentlicht haben, wachsen viel schneller als die Chipkapazität“, sagt Peter McMahon, Professor an der Cornell University, der daran arbeitet neuartige Methoden des Rechnens. Mit anderen Worten: Möglicherweise müssen wir neue Methoden der Datenverarbeitung nutzen, um den KI-Hype auf Kurs zu halten.