AMDs Instinct MI300X GPU wird bei seiner Markteinführung der stromhungrigste Chip sein und fast 1 kW Strom verbrauchen.
Die AMD Instinct MI300X GPU ist ein leistungsstarker und stromhungriger Chip, der 750 W Leistung verbraucht
Die NVIDIA H100-GPU ist seit ihrer Einführung mit einem Nennstromverbrauch von bis zu 700 W der stromhungrigste Rechenzentrumschip aller Zeiten. Das ändert sich jedoch mit dem Instinct MI300X, der noch mehr Strom verbrauchen wird.
In den Fußnoten zur AMD Instinct MI300X-Präsentation wird angegeben, dass der OAM-GPU-Beschleuniger 750 W Leistung verbraucht. Zum Vergleich: Die Instinct MI250X-GPUs, die auf der CDNA 2-GPU-Architektur basieren, verbrauchten zwischen 500 und 560 Watt Strom. Der Strombedarf ist also in einer einzigen Generation um 34-50 % gestiegen. Gleichzeitig war diese Leistungssteigerung angesichts des Designs des Chips selbst und der gebotenen Leistung zu erwarten. Der Chip sorgt für eine 8-fache Leistungssteigerung bei KI-Workloads und ist gleichzeitig 5-mal effizienter.
Die AMD Instinct MI300X-GPU wird voraussichtlich über 304 CDNA 3-Recheneinheiten verfügen, im Vergleich zu den 220 Recheneinheiten des MI250X. Das ist eine Steigerung von 38 %. Darüber hinaus bietet der Chip HBM3-Speicher mit einer Kapazität von 192 GB. Das sind 50 % mehr als der 128 GB HBM2e-Speicher, der vom MI250X verwendet wird, und da es sich um HBM3 handelt, werden wir auch viel schnellere Übertragungsgeschwindigkeiten sehen.
Ein großer Vorteil der Instinct MI300X-GPU und ihres riesigen 192-GB-VRAM besteht darin, dass sie große Sprachmodelle auf weniger GPUs als die Konkurrenz ausführen kann. Der Instinct MI300X kann bis zu 540 Milliarden Parameter-LLMs mit einer geringeren Anzahl an GPUs ausführen als die 80-GB-H100-Chips der Konkurrenz.
Dieser Energiebedarf steigt weiter, da GPUs und HPC-Beschleuniger immer leistungsfähiger werden. Eine aktuelle Roadmap für Gigabyte-Server zeigt, wie sich CPUs, GPUs und APUs der 1000-W-Leistungsgrenze nähern. AMD verfügt zweifellos über den stromhungrigsten Chip von allen, aber das rote Team hat auch in eine Vielzahl von Chiplet- und Gehäusetechnologien investiert, die es ihnen ermöglichen, den Strombedarf deutlich zu senken.
Während der ISSCC 2023-Konferenz erklärte Dr. Lisa Su, CEO von AMD, dass Zettascale Computing ohne die Einführung neuer Designs einen Kernreaktor benötigt hätte, um seinen Energiebedarf zu decken, und das nur für ein System. Allerdings werden die MI300X-GPUs auch in konservativen Varianten mit geringerem Strombedarf verfügbar sein, insbesondere in PCIe-Formfaktoren. Diese wurden noch nicht angekündigt, werden aber voraussichtlich bis 2024 eintreffen.