Während darüber debattiert wird, ob Moores Gesetz langsamer wird, weiterhin anwendbar ist oder in den 2020er Jahren sogar tot oder lebendig ist, verkünden Nvidia-Wissenschaftler die beeindruckende Dynamik hinter Huangs Gesetz. Im letzten Jahrzehnt soll sich die KI-Verarbeitungsleistung der Nvidia-GPUs vertausendfacht haben. Huangs Gesetz bedeutet, dass die Beschleunigungen, die wir bei der „Einzelchip-Inferenzleistung“ gesehen haben, jetzt nicht nachlassen, sondern weiter anhalten werden.
Nvidia veröffentlichte eine Blogeintrag über Huangs Gesetz am Freitag und skizzierte den Glauben und die Arbeitspraktiken dahinter. Was Nvidia-Chefwissenschaftler Bill Dally als „tektonischen Wandel in der Art und Weise, wie Computerleistung in einer Ära nach Moores Gesetz bereitgestellt wird“ beschreibt, basiert interessanterweise hauptsächlich auf menschlichem Einfallsreichtum. Es scheint etwas unvorhersehbar, auf dieser Eigenschaft ein Gesetz aufzustellen, aber Dally glaubt, dass die beeindruckende Tabelle unten nur den Anfang von Huangs Gesetz markiert.
Laut Dallys jüngstem Vortrag auf der Hot Chips 2023-Konferenz zeigt die obige Grafik eine 1000-fache Steigerung der GPU-KI-Inferenzleistung in den letzten zehn Jahren. Interessanterweise habe die Prozessverkleinerung im Gegensatz zum Mooreschen Gesetz nur geringe Auswirkungen auf den Fortschritt des Huang-Gesetzes gehabt, sagte der Chefwissenschaftler von Nvidia.
Dally erinnert sich, wie durch die Änderung der zugrunde liegenden Zahlenverarbeitung der Nvidia-GPU ein 16-facher Gewinn erzielt wurde. Ein weiterer großer Schub wurde mit der Einführung der Nvidia Hopper-Architektur mit der Transformer Engine erzielt. Hopper verwendet eine dynamische Mischung aus 8- und 16-Bit-Gleitkomma- und Ganzzahl-Mathematik, um einen 12,5-fachen Leistungssprung zu erzielen – und außerdem Energie zu sparen, heißt es. Zuvor habe Nvidia Ampere strukturelle Sparsity eingeführt, um die Leistung um das Zweifache zu steigern, sagte der Wissenschaftler. Fortschritte wie NVLink und Nvidia-Netzwerktechnologie haben diese beeindruckenden Zuwächse noch verstärkt.
Eine der aufsehenerregendsten Behauptungen von Dally war, dass die oben genannten 1000-fachen Steigerungen der KI-Inferenzleistung in krassem Gegensatz zu den Steigerungen stehen, die auf Prozessverbesserungen zurückzuführen sind. Im Laufe des letzten Jahrzehnts, als Nvidia-GPUs von 28-nm- auf 5-nm-Prozesse umgestiegen sind, machten die Verbesserungen der Halbleiterprozesse „nur das 2,5-fache der Gesamtgewinne aus“, behauptete Dally von Hot Chips.
Wie wird sich Huangs Gesetz mit Konzepten wie „Einfallsreichtum und Mühe bei der Erfindung und Validierung frischer Zutaten“ fortsetzen? Glücklicherweise gibt Dally an, dass er und sein Team immer noch „mehrere Möglichkeiten“ für die Beschleunigung der KI-Inferenzverarbeitung sehen. Zu den Möglichkeiten, die es zu erkunden gilt, gehören „die weitere Vereinfachung der Darstellung von Zahlen, die Schaffung von mehr Sparsität in KI-Modellen und die Entwicklung besserer Speicher- und Kommunikationsschaltungen“.