Nvidia kündigte auf der GTC 2023 seine bevorstehende Arm-basierte Grace-CPU an, aber die Ankündigung des Unternehmens, dass die Systeme nun in der zweiten Hälfte dieses Jahres ausgeliefert werden, stellt eine Verzögerung gegenüber dem ursprünglichen Startzeitplan dar, der auf die erste Hälfte des Jahres 2023 abzielte. Wir haben Nvidia-CEO Jensen gefragt Huang über die Verzögerung während einer Frage-und-Antwort-Sitzung für die Presse heute, auf die wir weiter unten eingehen werden. Nvidia zeigte auch zum ersten Mal sein Grace-Silizium und machte während seiner GTC-Keynote viele neue Leistungsansprüche, einschließlich der Tatsache, dass seine Arm-basierten Grace-Chips bei 60 % der Leistung bis zu 1,3-mal schneller sind als x86-Konkurrenten, was wir tun werden auch abdecken.
Ich habe Jensen Huang nach der Verzögerung bei der Lieferung der Grace-CPU- und Grace-Hopper-Superchip-Systeme an den Endmarkt gefragt. Nachdem er das voraussichtliche Veröffentlichungsdatum (Es War zweifellos 1H23Jetzt 2H23), er hat geantwortet:
„Nun, zunächst kann ich Ihnen sagen, dass Grace und Grace Hopper beide in der Produktion sind und Silizium gerade durch die Fabrik fliegt. Systeme werden hergestellt, und wir haben viele Ankündigungen gemacht. Die OEMs und Computerhersteller der Welt bauen sie .” Huang bemerkte auch, dass Nvidia erst seit zwei Jahren an den Chips arbeite, was angesichts des typischen mehrjährigen Designzyklus für einen modernen Chip eine relativ kurze Zeit sei.
Die heutige Definition von Versandsystemen kann unscharf sein – die ersten Systeme von AMD und Intel werden oft zur Bereitstellung an Hyperscaler geliefert, lange bevor die Chips allgemein verfügbar sind. Obwohl Nvidia sagt, dass es Chips an Kunden bemustert, hat es noch nicht gesagt, dass Grace noch in der Produktion eingesetzt wird. Als solche kommen die Chips nach den Prognosen des Unternehmens zu spät, aber um fair zu sein, sind ständig verspätete Chip-Einführungen von Unternehmen wie Intel keine Seltenheit. Das unterstreicht die Schwierigkeit, einen neuen Chip auf den Markt zu bringen, selbst wenn um die dominanten x86-Chips herum gebaut wird, mit etablierten Hardware- und Softwareplattformen, auf denen seit Jahrzehnten aufgebaut wird.
Im Gegensatz dazu sind die Grace- und Grace+Hopper-Chips von Nvidia ein grundlegendes Umdenken vieler grundlegender Aspekte des Chipdesigns mit einer innovativen neuen Chip-zu-Chip-Verbindung. Die Verwendung des Arm-Befehlssatzes durch Nvidia bedeutet auch, dass Softwareoptimierungen und Portierungen stärker vorangetrieben werden und das Unternehmen eine völlig neue Plattform aufbauen muss.
Jensen spielte in seiner ausführlichen Antwort darauf an und sagte: „Wir haben mit Superchips anstelle von Chiplets begonnen, weil die Dinge, die wir bauen wollen, so groß sind, und beide sind heute in Produktion. Also werden Kunden bemustert, die Software ist Es wird darauf portiert, und wir führen viele Tests durch.Während der Keynote habe ich ein paar Zahlen gezeigt, und ich wollte die Keynote nicht mit vielen Zahlen belasten, aber es wird eine ganze Reihe von Zahlen geben für die Leute zu genießen. Aber die Aufführung war wirklich ziemlich grandios.“
Bild 1 von 4
Und die Behauptungen von Nvidia sind beeindruckend. Im obigen Album können Sie beispielsweise den Grace-Hopper-Chip sehen, den Nvidia auf der GTC zum ersten Mal in echt zeigte (weitere technische Details hier).
Während der Präsentation behauptete Huang, die Chips seien 1,2-mal schneller als der „durchschnittliche“ x86-Serverchip der nächsten Generation in einem speicherintensiven HiBench-Apache-Spark-Benchmark und 1,3-mal schneller in einem Google-Microservices-Kommunikations-Benchmark, während sie nur 60 % davon abziehen die Macht.
Nvidia behauptet, dass Rechenzentren dadurch 1,7-mal mehr Grace-Server in strombegrenzten Raten bereitstellen können, die jeweils einen 25 % höheren Durchsatz bieten. Das Unternehmen auch Ansprüche Grace ist 1,9-mal schneller bei Computational Fluid Dynamics (CFD)-Workloads.
Bild 1 von 2
Obwohl die Grace-Chips bei einigen Workloads äußerst leistungsfähig und effizient sind, zielt Nvidia damit nicht auf den Allzweck-Servermarkt ab. Stattdessen hat das Unternehmen die Chips für bestimmte Anwendungsfälle wie KI- und Cloud-Workloads zugeschnitten, die eine überlegene Single-Thread- und Speicherverarbeitungsleistung in Verbindung mit einer hervorragenden Energieeffizienz bevorzugen.
“[..]Fast jedes einzelne Rechenzentrum ist jetzt mit begrenzter Stromversorgung ausgestattet, und wir haben Grace so konzipiert, dass es in einer Umgebung mit begrenzter Stromversorgung außerordentlich leistungsfähig ist“, antwortete Huang auf unsere Fragen. „Und in diesem Fall müssen Sie beide eine wirklich hohe Leistung erbringen , und Sie müssen wirklich wenig Strom haben und einfach unglaublich effizient sein. Daher ist das Grace-System im Vergleich zu den besten CPUs der neuesten Generation etwa doppelt so leistungs- und leistungseffizient.”
„Und es ist für verschiedene Designpunkte ausgelegt, das ist also sehr verständlich“, fuhr Huang fort. „Zum Beispiel spielt das, was ich gerade beschrieben habe, für die meisten Unternehmen keine Rolle. Es ist sehr wichtig für Anbieter von Cloud-Diensten und es ist sehr wichtig für Rechenzentren, die unbegrenzt betrieben werden.“
Bild 1 von 4
Energieeffizienz wird wichtiger denn je, mit Chips wie dem AMD EPYC Genoa, den wir kürzlich getestet haben, und Intels Sapphire Rapids, die jetzt auf 400 bzw. 350 Watt hochziehen. Das erfordert exotische neue Luftkühlungslösungen, um die enorme Leistungsaufnahme bei Standardeinstellungen und Flüssigkeitskühlung für die leistungsstärksten Optionen einzudämmen.
Im Gegensatz dazu wird die geringere Leistungsaufnahme von Grace die Chips toleranter gegenüber Abkühlung machen. Wie erstmals auf der GTC gezeigt, ist Nvidias Grace-Paket mit 144 Kernen 5 x 8 Zoll groß und passt in passiv gekühlte Module, die überraschend kompakt sind. Diese Module sind immer noch auf Luftkühlung angewiesen, aber zwei können in einem einzigen schlanken 1U-Gehäuse luftgekühlt werden.
Bild 1 von 3
Nvidia zeigte auf der GTC erstmals auch seinen Grace Hopper Superchip Silizium. Der Superchip kombiniert die Grace-CPU mit einer Hopper-GPU auf demselben Gehäuse. Wie Sie im obigen Album sehen können, passen zwei dieser Module auch in ein einziges Servergehäuse. Sie können die ausführlichen Details zu diesem Design hier lesen.
Der große Vorteil dieses Designs besteht darin, dass die verbesserte CPU+GPU-Speicherkohärenz, die von einer fetten Chip-zu-Chip-Verbindung mit niedriger Latenz gespeist wird, die siebenmal so schnell ist wie die PCIe-Schnittstelle, es der CPU und der GPU ermöglicht, im Speicher gespeicherte Informationen auszutauschen mit einer Geschwindigkeit und Effizienz, die mit früheren Designs unmöglich war.
Huang erklärte, dass dieser Ansatz ideal für KI, Datenbanken, Empfehlungssysteme und große Sprachmodelle (LLM) ist, die alle sehr gefragt sind. Indem der GPU der direkte Zugriff auf den Speicher der CPU ermöglicht wird, werden die Datenübertragungen optimiert, um die Leistung zu steigern.
Die Grace-Chips von Nvidia hinken zwar etwas hinter dem Zeitplan her, aber das Unternehmen hat eine Schar von Partnern, darunter Asus, Atos, Gigabyte, HPE, Supermicro, QCT, Wiston und Zt, die alle OEM-Systeme für den Markt vorbereiten. Diese Systeme werden nun in der zweiten Jahreshälfte erwartet, aber Nvidia hat nicht gesagt, ob sie zu Beginn oder Ende der zweiten Jahreshälfte kommen werden.