Es sieht so aus, als ob wir einen weiteren kryptoähnlichen GPU-Mangel bei Gaming-GPUs erleben könnten, nur dass dieser diesmal durch die wachsende Nachfrage nach KI verursacht wird. Der Mangel an KI-GPUs in China hat dazu geführt, dass Unternehmen ihr Augenmerk auf Gaming-GPUs richten, und hier könnte sich die Lage ändern.
Der Erwerb von KI-spezifischen GPUs ist für Technologie-Startups zu einem Ärgernis geworden, da sich das Interesse hin zu Gaming-GPUs verlagert
Wir haben bereits darüber berichtet, dass der Mangel an GPUs wie der H100 von NVIDIA rapide zunimmt. NVIDIA kann die enorme Nachfrage seines Marktes nicht erfüllen, weshalb seine KI-GPUs zu enormen Kosten verkauft werden, die sich auf fast 70.000 US-Dollar belaufen. Während dies zu Hindernissen beim Erwerb von GPUs geführt hat, haben einige Unternehmen einen anderen Weg gefunden, um dem Mangel entgegenzuwirken: den Erwerb von Grafikkarten für Endverbraucher.
Obwohl es nicht viele Beweise für die Verschiebung des Interesses gibt, hat ein aktueller Tweet des CEO von Comma AI enthüllt, dass das Unternehmen AMD-Gaming-GPUs auf den Markt gebracht hat
Bei AMD (im Gegensatz zu Qualcomm) ist es eine Freude, Chips zu kaufen. Heute wurden 7,38 PFLOPS an Rechenleistung geliefert, weitere Exaflops folgen.
Schön zu sehen, dass sie auf dem ROCm GitHub aktiver sind, wir arbeiten an der Ebene darüber @__tinygrad__ pic.twitter.com/5yE11TVA5F
– George Hotz 🐀 (@realGeorgeHotz) 1. August 2023
Das oben geteilte Bild zeigt eine große Anzahl von AMD-GPUs und wenn man das Bild vergrößert, handelt es sich bei dem Modell um die Radeon RX 7900 XTX von XFX „MERC 310“. Während die genaue Anzahl der mitgebrachten GPUs nicht angegeben ist, sollten es basierend auf dem Bild und abhängig von der zur Berechnung der Leistung verwendeten Metrik entweder 60 GPUs sein, wenn FP16 verwendet wurde, und 120 GPUs, wenn FP32 verwendet wurde. Da KI größtenteils von FP16 abhängig ist, können wir sagen, dass es insgesamt 60 GPUs gab, die insgesamt 7,38 PTFLOPS lieferten (wie George sagte). Die Radeon RX 7900 George sagt, dass noch weitere Exaflops folgen werden.
Sie wundern sich vielleicht über die Auswahl an AMD-Gaming-GPUs. Nun, es gibt zwei Hauptgründe, der erste ist der hohe VRAM. KI-Workloads müssen über erhebliche Speicherkapazitäten verfügen, und da die Radeon RX 7900 XTX das Top-End-Angebot von AMD ist, wird sie als die beste Option angesehen. Der 24-GB-VRAM ist zu einem viel günstigeren Preis erhältlich als das Top-Angebot von NVIDIA, das für 1.599 US-Dollar und mehr im Einzelhandel erhältlich ist.
Zweitens war der Erwerb von KI-GPUs, wie George selbst feststellte („AMD (im Gegensatz zu Qualcomm) ist es eine Freude, Chips zu kaufen“), für Technologie-Startups ein Problem, da nur Branchenakteure wie OpenAI und Microsoft exklusiven Zugriff auf das Inventar von NVIDIA haben . AMD-Gaming-GPUs erfreuen sich nicht so großer Verkaufserfolge wie die Ada-Lovelace-Reihe von NVIDIA; Daher ist der Zugang zu High-End-Angeboten von AMD einfacher, und wer weiß, vielleicht hat George auch einen guten Rabatt bekommen.
Ein Streit darüber, „Wird KI zu GPU-Engpässen führen“ ist derzeit nicht möglich, aber wir haben bereits mehrfach über Auftragsrückstände und Zeitverzögerungen bei KI-GPUs berichtet. Dies hat für Unternehmen die Möglichkeit geschaffen, sich mit Gaming-GPUs zu befassen, und wie wir alle wissen: Wenn NVIDIA und AMD eine solche Chance sehen, nutzen sie diese blitzschnell. Wir werden es vielleicht nie erfahren; Es besteht die Möglichkeit, dass wir eine weitere Kategorie „LHR“ und „NON-LHR“ sehen, dieses Mal jedoch für KI-Computing.
PugetSystems veröffentlichte Benchmarks von AMD- und NVIDIA-GPUs der Consumer-Klasse innerhalb von Stable Diffusion und die Ergebnisse sind sehr interessant. Sie können sehen, dass die neuesten Radeon- und GeForce-Grafikkarten für Spiele eine außergewöhnliche Leistung bieten, was KI-Unternehmen noch mehr Anreiz gibt, nach Gaming-GPUs zu greifen, die gleichzeitig ein besseres Preis-Leistungs-Verhältnis als die Pro- und HPC-Teile bieten leicht in den Regalen des Einzelhandels erhältlich.
Letztlich ist es eine Tatsache, dass der PC-Markt derzeit am Tiefpunkt angelangt ist, sodass Unternehmen wie NVIDIA und AMD alles nehmen werden, was den Verkauf der Hardware ankurbeln kann. Wer weiß, vielleicht wird sogar die RTX 4060 Ti 16 GB ein Erfolg auf dem KI-Markt (während es im Gaming-Segment nicht so sehr der Fall ist).
Nachrichtenquelle: Toms Hardware