Aufgrund der Fähigkeit von GPUs, viele Berechnungen parallel durchzuführen, eignen sie sich gut für die Ausführung der leistungsstärksten KI von heute. Die Beschaffung von GPUs wird jedoch immer schwieriger, da Unternehmen jeder Größe ihre Investitionen in KI-gestützte Produkte erhöhen.
Nvidias leistungsstärkste KI-Karten ausverkauft letztes Jahr und der CEO des Chipherstellers TSMC empfohlen dass die allgemeine Versorgung bis zum Jahr 2025 eingeschränkt sein könnte. Das Problem ist tatsächlich so akut, dass es die Aufmerksamkeit der US-amerikanischen Federal Trade Commission auf sich gezogen hat – die Behörde hat dies kürzlich getan angekündigt Es untersucht mehrere Partnerschaften zwischen KI-Startups und Cloud-Giganten wie Google und AWS hinsichtlich der Frage, ob die Startups möglicherweise wettbewerbswidrigen, privilegierten Zugriff auf GPU-Rechner haben.
Was ist die Lösung? Es hängt wirklich von Ihren Ressourcen ab. Tech-Giganten wie Meta, Google, Amazon und Microsoft kaufen so viel GPUs auf, wie sie können, und entwickeln ihre eigenen, maßgeschneiderten Chips. Unternehmen mit weniger Ressourcen sind dem Markt ausgeliefert – aber das muss nicht für immer so bleiben, sagen John Yue und Michael Yu.
Yue und Yu sind die Mitbegründer von Inference.ai, eine Plattform, die Cloud-GPU-Computing als Infrastructure-as-a-Service durch Partnerschaften mit Rechenzentren von Drittanbietern bereitstellt. Inference verwendet Algorithmen, um die Arbeitslasten von Unternehmen mit GPU-Ressourcen abzugleichen, sagt Yue – mit dem Ziel, das Rätselraten bei der Auswahl und Anschaffung der Infrastruktur zu vermeiden.
„Inference bringt Klarheit in die verwirrende Hardware-Landschaft für Gründer und Entwickler mit neuen Chips von Nvidia, Intel, AMD und Groq [and so on] – was einen höheren Durchsatz, geringere Latenz und geringere Kosten ermöglicht“, sagte Yue. „Unsere Tools und unser Team ermöglichen es Entscheidungsträgern, viele Störfaktoren herauszufiltern und schnell die richtige Lösung für ihr Projekt zu finden.“
Inference bietet Kunden im Wesentlichen eine GPU-Instanz in der Cloud sowie 5 TB Objektspeicher. Das Unternehmen gibt an, dass es dank seiner algorithmischen Matching-Technologie und der Vereinbarungen mit Rechenzentrumsbetreibern deutlich günstigere GPU-Rechenleistung mit besserer Verfügbarkeit anbieten kann als große öffentliche Cloud-Anbieter.
„Der Markt für gehostete GPUs ist verwirrend und ändert sich täglich“, sagte Yue. „Außerdem haben wir festgestellt, dass die Preise für die gleiche Konfiguration um bis zu 1.000 % schwanken. Unsere Tools und unser Team ermöglichen es Entscheidungsträgern, viele Störfaktoren herauszufiltern und schnell die richtige Lösung für ihr Projekt zu finden.“
Nun war TechCrunch nicht in der Lage, diese Behauptungen auf die Probe zu stellen. Aber unabhängig davon, ob sie wahr sind, hat Inference Konkurrenz – und zwar jede Menge.
Siehe: CoreWeave, ein Krypto-Mining-Anbieter, der sich in einen GPU-Anbieter verwandelt angeblich Es wird erwartet, dass das Unternehmen bis 2024 einen Umsatz von rund 1,5 Milliarden US-Dollar erzielen wird. Sein enger Konkurrent Lambda Labs gesichert 300 Millionen US-Dollar an Risikokapital im vergangenen Oktober. Es gibt auch Together – eine GPU-Cloud – ganz zu schweigen von Startups wie Run.ai und Exafunction, die darauf abzielen, die KI-Entwicklungskosten durch Abstrahieren der zugrunde liegenden Hardware zu senken.
Die Investoren von Inference scheinen jedoch zu glauben, dass es Raum für einen anderen Player gibt. Das Startup hat kürzlich eine 4-Millionen-Dollar-Runde von Cherubic Ventures, Maple VC und Fusion Fund abgeschlossen, die laut Yue für den Aufbau der Bereitstellungsinfrastruktur von Inference verwendet wird.
In einer per E-Mail verschickten Erklärung fügte Matt Cheng von Cherubic hinzu:
„Die Anforderungen an die Verarbeitungskapazität werden weiter steigen, da KI die Grundlage vieler heutiger Produkte und Systeme ist. Wir sind zuversichtlich, dass das Inference-Team mit seinen bisherigen Kenntnissen in Hardware und Cloud-Infrastruktur das Zeug zum Erfolg hat. Wir haben uns für eine Investition entschieden, weil beschleunigte Rechen- und Speicherdienste die KI-Revolution vorantreiben und das Inferenzprodukt die nächste Welle des KI-Wachstums ankurbeln wird.“