Cloud-Computing-Anbieter sind sich sehr bewusst, dass ihre Kunden um Kapazitätsengpässe kämpfen. Die steigende Nachfrage „hat die Branche etwas überrascht“, sagt Chetan Kapoor, Direktor für Produktmanagement bei AWS.
Die Zeit, die für die Anschaffung und Installation neuer GPUs in ihren Rechenzentren benötigt wird, hat die Cloud-Giganten ins Hintertreffen geraten lassen, und auch die spezifischen Vereinbarungen mit der höchsten Nachfrage erhöhen den Stress. Während die meisten Anwendungen von Prozessoren laufen können, die lose über die Welt verteilt sind, erzielt das Training generativer KI-Programme tendenziell die beste Leistung, wenn GPUs physisch eng beieinander geclustert sind, manchmal 10.000 Chips gleichzeitig. Das bindet die Verfügbarkeit wie nie zuvor.
Laut Kapoor greift der typische generative KI-Kunde von AWS auf Hunderte von GPUs zu. „Wenn ein bestimmter Kunde morgen 1.000 GPUs benötigt, wird es einige Zeit dauern, bis wir sie unterbringen können“, sagt Kapoor. „Aber wenn sie flexibel sind, können wir es schaffen.“
AWS hat seinen Kunden vorgeschlagen, im Rahmen seines Bedrock-Angebots teurere, maßgeschneiderte Dienste zu übernehmen, bei denen der Chipbedarf in das Angebot integriert ist, ohne dass sich die Kunden Sorgen machen müssen. Oder Kunden könnten die einzigartigen KI-Chips von AWS, Trainium und Inferentia, ausprobieren, deren Akzeptanz einen nicht näher bezeichneten Anstieg verzeichnet, sagt Kapoor. Das Nachrüsten von Programmen für den Betrieb auf diesen Chips anstelle von Nvidia-Optionen war traditionell eine mühsame Aufgabe, obwohl Kapoor sagt, dass der Wechsel zu Trainium in manchen Fällen nur noch die Änderung von zwei Zeilen Softwarecode erfordert.
Auch anderswo gibt es viele Herausforderungen. Laut einem Mitarbeiter, der nicht befugt ist, mit den Medien zu sprechen, konnte Google Cloud mit der Nachfrage nach seinem selbst entwickelten GPU-Äquivalent, der sogenannten TPU, nicht Schritt halten. Ein Sprecher reagierte nicht auf eine Bitte um Stellungnahme. Die Azure-Cloud-Einheit von Microsoft bietet Rückerstattungen an Kunden an, die die von ihnen reservierten GPUs nicht nutzen. die Information im April berichtet. Microsoft lehnte eine Stellungnahme ab.
Cloud-Unternehmen würden es vorziehen, wenn Kunden Kapazitäten über Monate oder Jahre im Voraus reservieren, damit diese Anbieter ihre eigenen GPU-Käufe und -Installationen besser planen können. Aber Start-ups, die im Allgemeinen nur über minimale Barmittel und zeitweiligen Bedarf bei der Auswahl ihrer Produkte verfügen, zögern, sich zu verpflichten, und bevorzugen „Buy-as-you-go“-Pläne. Dies hat zu einem sprunghaften Anstieg des Geschäfts für alternative Cloud-Anbieter geführt, wie z Lambda Labs Und CoreWeave, die in diesem Jahr zusammen fast 500 Millionen US-Dollar von Investoren eingesammelt haben. Astria, das Bildgenerator-Startup, gehört zu ihren Kunden.
AWS ist nicht gerade glücklich darüber, gegenüber neuen Marktteilnehmern den Anschluss zu verlieren, und erwägt daher zusätzliche Optionen. „Wir denken kurz- und langfristig über verschiedene Lösungen nach, um unseren Kunden das Erlebnis zu bieten, das sie suchen“, sagt Kapoor und lehnt es ab, näher darauf einzugehen.
Engpässe bei den Cloud-Anbietern wirken sich auf ihre Kunden aus, zu denen einige große Namen im Technologiebereich gehören. Laut Jeremy King, Chief Technology Officer, erweitert die Social-Media-Plattform Pinterest den Einsatz von KI, um Nutzer und Werbetreibende besser zu bedienen. Das Unternehmen erwägt den Einsatz der neuen Chips von Amazon. „Wir brauchen wie alle mehr GPUs“, sagt King. „Der Chipmangel ist eine reale Sache.“