Nvidias H100 (Hopper) GPU findet man nicht auf der Liste der besten Grafikkarten. Die Stärke des H100 liegt jedoch in der künstlichen Intelligenz (KI), was ihn zu einer begehrten GPU in der KI-Branche macht. Und jetzt, wo alle auf den KI-Zug aufspringen, ist Nvidias H100 noch beliebter geworden.
Nvidia behauptet, dass der H100 eine bis zu 9-mal schnellere KI-Trainingsleistung und eine bis zu 30-mal schnellere Inferenzleistung als der vorherige A100 (Ampere) liefert. Bei einer Leistung auf diesem Niveau ist es leicht zu verstehen, warum jeder einen H100 in die Finger bekommen möchte. Zusätzlich, Reuters (öffnet in neuem Tab) berichtete, dass Nvidia den H100 modifiziert habe, um den Exportbestimmungen zu entsprechen, damit der Chiphersteller den veränderten H100 als H800 nach China verkaufen könne.
Im vergangenen Jahr haben US-Beamte mehrere Vorschriften umgesetzt, um Nvidia daran zu hindern, seine A100- und H100-GPUs an chinesische Kunden zu verkaufen. Die Regeln begrenzten GPU-Exporte mit Chip-zu-Chip-Datenübertragungsraten unter 600 GBps. Die Übertragungsgeschwindigkeit ist in der KI-Welt von grundlegender Bedeutung, in der Systeme enorme Datenmengen bewegen müssen, um die KI-Modelle wie ChatGPT zu trainieren. Das Verhindern der Datenübertragungsrate von Chip zu Chip führt zu einer erheblichen Leistungseinbuße, da die langsameren Übertragungsraten die zum Übertragen von Daten benötigte Zeit erhöhen, was wiederum die Trainingszeit erhöht.
Mit dem A100 reduzierte Nvidia die 600-GBps-Verbindung der GPU auf 400 GBps und benannte sie in A800 um, um sie auf dem chinesischen Markt zu kommerzialisieren. Nvidia verfolgt beim H100 einen identischen Ansatz.
Laut einer Quelle der chinesischen Chipindustrie von Reuters hat Nvidia die Datenübertragungsrate von Chip zu Chip beim H800 auf etwa die Hälfte des H100 reduziert. Das würde den H800 mit einer auf 300 GBps beschränkten Verbindung belassen. Das ist ein deutlicherer Leistungseinbruch als im Vergleich zum A100 und A800, wo letzterer unter einer um 33 % niedrigeren Chip-zu-Chip-Datenübertragungsrate litt. Der H100 ist jedoch wesentlich schneller als der A100, was der Grund dafür sein könnte, dass Nvidia dem ersteren eine strengere Beschränkung der Chip-zu-Chip-Datenübertragungsrate auferlegt hat.
Reuters kontaktierte einen Nvidia-Sprecher, um sich zu erkundigen, was den H800 vom H100 unterscheidet. Der Nvidia-Vertreter erklärte jedoch nur, dass „unsere Produkte der 800er-Serie die Exportkontrollbestimmungen vollständig erfüllen“.
Nvidia hat bereits drei der bekanntesten chinesischen Technologieunternehmen, die H800 verwenden: Alibaba Group Holding, Baidu Inc und Tencent Holdings. China hat ChatGPT verboten; Daher konkurrieren die Technologiegiganten miteinander, um ein inländisches ChatGPT-ähnliches Modell für den chinesischen Markt zu produzieren. Und obwohl ein H800 mit der halben Chip-zu-Chip-Übertragungsrate zweifellos langsamer sein wird als der vollwertige H100, wird er es immer noch nicht sein langsam. Angesichts der Tatsache, dass Unternehmen möglicherweise Tausende von Hopper-GPUs verwenden, müssen wir uns letztendlich fragen, ob dies bedeutet, dass mehr H800 verwendet werden, um die gleiche Arbeit zu leisten, wie weniger H100.