GlobalFoundries, ein Unternehmen, das Chips für andere herstellt, darunter AMD und General Motors, gab zuvor eine Partnerschaft mit Lightmatter bekannt. Harris sagt, sein Unternehmen arbeite „mit den größten Halbleiterunternehmen der Welt sowie den Hyperscalern zusammen“ und bezieht sich dabei auf die größten Cloud-Unternehmen wie Microsoft, Amazon und Google.
Wenn Lightmatter oder ein anderes Unternehmen die Verkabelung riesiger KI-Projekte neu erfinden kann, könnte ein wichtiger Engpass bei der Entwicklung intelligenterer Algorithmen wegfallen. Der Einsatz von mehr Rechenleistung war von grundlegender Bedeutung für die Fortschritte, die zu ChatGPT führten, und viele KI-Forscher sehen die weitere Skalierung der Hardware als entscheidend für zukünftige Fortschritte auf diesem Gebiet – und für die Hoffnung, jemals das vage spezifizierte Ziel der künstlichen Intelligenz zu erreichen Allgemeine Intelligenz (AGI) bedeutet Programme, die der biologischen Intelligenz in jeder Hinsicht entsprechen oder diese übertreffen können.
Die Verknüpfung einer Million Chips mit Licht könnte Algorithmen ermöglichen, die mehrere Generationen über den heutigen Stand hinausgehen, sagt Nick Harris, CEO von Lightmatter. „Passage wird AGI-Algorithmen ermöglichen“, schlägt er selbstbewusst vor.
Die großen Rechenzentren, die zum Trainieren riesiger KI-Algorithmen benötigt werden, bestehen typischerweise aus Racks, die mit Zehntausenden von Computern gefüllt sind, auf denen spezielle Siliziumchips laufen, und einer Reihe meist elektrischer Verbindungen zwischen ihnen. Die Aufrechterhaltung von Trainingsläufen für KI über so viele Systeme hinweg – die alle durch Kabel und Schalter verbunden sind – ist ein riesiges technisches Unterfangen. Die Konvertierung zwischen elektronischen und optischen Signalen schränkt auch die Fähigkeit von Chips, Berechnungen als Ganzes auszuführen, grundlegend ein.
Der Ansatz von Lightmatter soll den heiklen Datenverkehr in KI-Rechenzentren vereinfachen. „Normalerweise hat man eine Reihe von GPUs und dann eine Schicht von Switches, und eine Schicht von Schaltern, und eine Schicht von Schaltern, und man muss diesen Baum durchqueren“, um zwischen zwei GPUs zu kommunizieren, sagt Harris. In einem durch Passage verbundenen Rechenzentrum hätte jede GPU laut Harris eine Hochgeschwindigkeitsverbindung zu jedem anderen Chip.
Die Arbeit von Lightmatter an Passage ist ein Beispiel dafür, wie der jüngste Aufschwung der KI große und kleine Unternehmen dazu inspiriert hat, zu versuchen, wichtige Hardware hinter Fortschritten wie ChatGPT von OpenAI neu zu erfinden. Nvidia, der führende Anbieter von GPUs für KI-Projekte, hielt letzten Monat seine Jahreskonferenz ab, auf der CEO Jensen Huang den neuesten Chip des Unternehmens für das Training von KI vorstellte: eine GPU namens Blackwell. Nvidia wird die GPU in einem „Superchip“ verkaufen, der aus zwei Blackwell-GPUs und einem herkömmlichen CPU-Prozessor besteht, die alle über die neue Hochgeschwindigkeits-Kommunikationstechnologie des Unternehmens miteinander verbunden sind NVLink-C2C.
Die Chipindustrie ist dafür bekannt, Wege zu finden, mehr Rechenleistung aus Chips herauszuholen, ohne sie größer zu machen, aber Nvidia hat sich entschieden, diesem Trend zu widerstehen. Die Blackwell-GPUs im Superchip des Unternehmens sind doppelt so leistungsstark wie ihre Vorgänger, werden jedoch durch Zusammenschrauben zweier Chips hergestellt, was bedeutet, dass sie viel mehr Strom verbrauchen. Dieser Kompromiss deutet neben Nvidias Bemühungen, seine Chips mit Hochgeschwindigkeitsverbindungen zusammenzukleben, darauf hin, dass Upgrades anderer Schlüsselkomponenten für KI-Supercomputer, wie das von Lightmatter vorgeschlagene, wichtiger werden könnten.