Inflection AI, ein neues Startup, das vom ehemaligen Chef von Deep Mind gegründet wurde und von Microsoft und Nvidia unterstützt wird, hat letzte Woche 1,3 Milliarden US-Dollar von Branchenschwergewichten in Form von Bargeld und Cloud-Krediten eingesammelt. Es scheint, dass das Unternehmen das Geld verwenden wird, um einen Supercomputer-Cluster zu bauen, der von bis zu 22.000 Nvidias H100-Rechen-GPUs angetrieben wird und über eine theoretische Spitzenleistung bei der Rechenleistung verfügen wird, die mit der des Frontier-Supercomputers vergleichbar ist.
„Wir werden einen Cluster von rund 22.000 H100 aufbauen“, berichtet Mustafa Suleyman, Gründer von DeepMind und Mitbegründer von Inflection AI Reuters. „Das ist ungefähr dreimal so viel Rechenleistung wie für das gesamte Training von GPT-4. Geschwindigkeit und Skalierbarkeit werden es uns wirklich ermöglichen, ein differenziertes Produkt zu entwickeln.“
Ein Cluster mit 22.000 Nvidia H100-Rechen-GPUs ist theoretisch in der Lage, 1,474 Exaflops FP64-Leistung zu liefern – und das unter Verwendung der Tensor-Kerne. Wenn allgemeiner FP64-Code auf den CUDA-Kernen läuft, ist der Spitzendurchsatz nur halb so hoch: 0,737 FP64-Exaflops. Mittlerweile ist der schnellste Supercomputer der Welt Grenzehat eine Spitzenrechenleistung von 1,813 FP64-Exaflops (doppelt so viel auf 3,626 Exaflops für Matrixoperationen). Damit liegt der geplante neue Computer vorerst auf dem zweiten Platz, könnte aber auf den vierten Platz zurückfallen, sobald El Capitan und Aurora vollständig online gehen.
Während die FP64-Leistung für viele wissenschaftliche Arbeitslasten wichtig ist, wird dieses System für KI-orientierte Aufgaben wahrscheinlich viel schneller sein. Der maximale FP16/BF16-Durchsatz beträgt 43,5 Exaflops und verdoppelt sich auf 87,1 Exaflops für den FP8-Durchsatz. Der Frontier-Supercomputer, der von 37.888 AMDs Instinct MI250X angetrieben wird, hat einen BF16/FP16-Spitzendurchsatz von 14,5 Exaflops.
Die Kosten des Clusters sind unbekannt, aber wenn man bedenkt, dass Nvidias H100-Rechen-GPUs für über 30.000 US-Dollar pro Einheit verkauft werden, gehen wir davon aus, dass die GPUs für den Cluster Hunderte Millionen Dollar kosten werden. Rechnet man alle Rack-Server und andere Hardware hinzu, würde das den größten Teil der 1,3 Milliarden US-Dollar an Fördermitteln ausmachen.
Inflection AI wird derzeit, etwa ein Jahr nach seiner Gründung, auf rund 4 Milliarden US-Dollar geschätzt. Sein einziges aktuelles Produkt ist ein generationsübergreifender KI-Chatbot namens Pi, kurz für Personal Intelligence. Pi ist als KI-gestützter persönlicher Assistent mit generativer KI-Technologie ähnlich ChatGPT konzipiert, der die Planung, Terminierung und Informationsbeschaffung unterstützt. Dies ermöglicht es Pi, per Dialog mit Benutzern zu kommunizieren, sodass diese Fragen stellen und Feedback geben können. Inflection AI hat unter anderem konkrete User-Experience-Ziele für Pi skizziert, etwa das Angebot emotionaler Unterstützung.
Derzeit betreibt Inflection AI einen Cluster auf Basis von 3.584 Nvidia H100-Rechen-GPUs in der Microsoft Azure-Cloud. Der vorgeschlagene Supercomputing-Cluster würde etwa die sechsfache Leistung der aktuellen Cloud-basierten Lösung bieten.