Nvidia am Dienstag entfesselt eine überarbeitete Version seiner Grace Hopper Superchip-Plattform der nächsten Generation mit HBM3e-Speicher für künstliche Intelligenz und Hochleistungsrechnen. Die neue Version des GH200 Grace Hopper verfügt über die gleiche Grace-CPU und die gleiche GH100 Hopper-Rechner-GPU, verfügt jedoch über HBM3e-Speicher mit höherer Kapazität und Bandbreite.
Der neue GH200 Grace Hopper Superchip basiert auf der 72-Kern-Grace-CPU mit 480 GB ECC LPDDR5X-Speicher sowie der GH100-Rechen-GPU, die mit 141 GB HBM3E-Speicher gepaart ist, der in sechs 24-GB-Stacks geliefert wird und einen 6.144-GB-Speicher verwendet -Bit-Speicherschnittstelle. Während Nvidia physisch 144 GB Speicher verbaut, stehen für bessere Ausbeuten nur 141 GB zur Verfügung.
Nvidias aktueller GH200 Grace Hopper Superchip verfügt über 96 GB HBM3-Speicher und bietet eine Bandbreite von weniger als 4 TB/s. Im Gegensatz dazu steigert das neue Modell die Speicherkapazität um rund 50 % und erhöht die Bandbreite um über 25 %. Solche massiven Verbesserungen ermöglichen es der neuen Plattform, größere KI-Modelle als die Originalversion auszuführen und spürbare Leistungsverbesserungen zu erzielen (was besonders wichtig für das Training sein wird).
Laut Nvidia befindet sich Nvidias GH200 Grace Hopper-Plattform mit HBM3 derzeit in Produktion und wird ab nächsten Monat im Handel erhältlich sein. Im Gegensatz dazu befindet sich die GH200 Grace Hopper-Plattform mit HBM3e derzeit in der Bemusterung und wird voraussichtlich im zweiten Quartal 2024 verfügbar sein. Nvidia betonte, dass der neue GH200 Grace Hopper die gleiche Grace-CPU und das gleiche GH100-GPU-Silizium wie die Originalversion nutzt, so die Das Unternehmen muss keine neuen Überarbeitungen oder Schritte durchführen.
Nvidia sagt, dass die ursprüngliche GH200 mit HBM3 und die verbesserte GH200 mit HBM3E nebeneinander auf dem Markt existieren werden, was bedeutet, dass letztere angesichts ihrer höheren Leistung, die durch den fortschrittlicheren Speicher ermöglicht wird, mit einem Aufpreis verkauft werden.
„Um der steigenden Nachfrage nach generativer KI gerecht zu werden, benötigen Rechenzentren beschleunigte Rechenplattformen mit speziellen Anforderungen“, sagte Jensen Huang, CEO von Nvidia. „Die neue GH200 Grace Hopper Superchip-Plattform bietet dies mit außergewöhnlicher Speichertechnologie und Bandbreite zur Verbesserung des Durchsatzes, der Möglichkeit, GPUs zu verbinden, um die Leistung ohne Kompromisse zu aggregieren, und einem Serverdesign, das problemlos im gesamten Rechenzentrum eingesetzt werden kann.“
Nvidias Grace Hopper Superchip-Plattform der nächsten Generation mit HBM3e ist vollständig mit der MGX-Serverspezifikation von Nvidia kompatibel und daher direkt mit bestehenden Serverdesigns kompatibel.