Nachdem chinesische Unternehmen den Zugang zu Nvidias hochmodernen Rechen-GPUs A100 und H100 verloren hatten, mit denen verschiedene KI-Modelle trainiert werden können, mussten sie Wege finden, sie zu trainieren, ohne die fortschrittlichste Hardware zu verwenden. Um den Mangel an leistungsstarken GPUs auszugleichen, vereinfachen chinesische Entwickler von KI-Modellen stattdessen ihre Programme, um die Anforderungen zu reduzieren, und verwenden die gesamte Rechenhardware, die sie in Kombination bekommen können Wallstreet Journal Berichte.
Nvidia kann seine Rechen-GPUs A100 und H100 nicht an chinesische Unternehmen wie Alibaba oder Baidu verkaufen, ohne eine Exportlizenz vom US-Handelsministerium zu erhalten (und jeder Antrag würde mit ziemlicher Sicherheit abgelehnt werden). Daher hat Nvidia A800- und H800-Prozessoren entwickelt, die eine reduzierte Leistung bieten und mit behinderten NVLink-Funktionen ausgestattet sind, was die Fähigkeit einschränkt, Hochleistungs-Multi-GPU-Systeme zu bauen, die traditionell zum Trainieren großer KI-Modelle erforderlich sind.
Beispielsweise erfordert das umfangreiche Sprachmodell hinter ChatGPT von OpenAI nach Schätzungen von UBS-Analysten 5.000 bis 10.000 A100-GPUs von Nvidia, um trainiert zu werden, berichtet das WSJ. Da chinesische Entwickler keinen Zugang zu A100 haben, verwenden sie weniger leistungsfähige A800 und H800 in Kombination, um so etwas wie die Leistung von Nvidias leistungsstärkeren GPUs zu erreichen, so Yang You, Professor an der National University of Singapore und Gründer von HPC -KI-Tech. Im April stellte Tencent einen neuen Rechencluster mit Nvidias H800s für das Training von KI-Modellen im großen Maßstab vor. Dieser Ansatz kann kostspielig sein, da chinesische Firmen möglicherweise dreimal mehr H800 benötigen als ihre US-Pendants für ähnliche Ergebnisse H100 benötigen würden.
Aufgrund der hohen Kosten und der Unfähigkeit, alle benötigten GPUs physisch zu beschaffen, haben chinesische Unternehmen Methoden entwickelt, um große KI-Modelle über verschiedene Chiptypen hinweg zu trainieren, was US-amerikanische Unternehmen aufgrund technischer Herausforderungen und Bedenken hinsichtlich der Zuverlässigkeit selten tun. Beispielsweise haben Unternehmen wie Alibaba, Baidu und Huawei die Verwendung von Kombinationen aus Nvidias A100s, V100s und P100s und Huaweis Ascends untersucht, laut Forschungsberichten, die vom WSJ überprüft wurden.
Obwohl es zahlreiche Unternehmen in China gibt, die Prozessoren für KI-Workloads entwickeln, wird ihre Hardware nicht von robusten Softwareplattformen wie Nvidias CUDA unterstützt, weshalb Maschinen, die auf solchen Chips basieren, Berichten zufolge „anfällig für Crushing“ sind.
Darüber hinaus waren chinesische Firmen auch aggressiver bei der Kombination verschiedener Softwaretechniken, um die Rechenanforderungen für das Training großer KI-Modelle zu reduzieren, ein Ansatz, der sich weltweit noch durchsetzen muss. Trotz der Herausforderungen und laufenden Verfeinerungen haben chinesische Forscher einige Erfolge bei diesen Methoden festgestellt.
In einer kürzlich erschienenen Veröffentlichung demonstrierten Huawei-Forscher das Training ihres großen Sprachmodells der neuesten Generation, PanGu-Σ, nur mit Ascend-Prozessoren und ohne Nvidia-Rechen-GPUs. Obwohl es einige Mängel gab, erreichte das Modell bei einigen chinesischsprachigen Aufgaben, wie Leseverständnis und Grammatiktests, eine hochmoderne Leistung.
Analysten warnen davor, dass chinesische Forscher ohne Zugang zu Nvidias neuem H100-Chip, der eine zusätzliche leistungssteigernde Funktion enthält, die besonders nützlich für das Training von ChatGPT-ähnlichen Modellen ist, mit zunehmenden Schwierigkeiten konfrontiert werden. Unterdessen zeigte ein im vergangenen Jahr von Baidu und Peng Cheng Laboratory veröffentlichtes Papier, dass Forscher große Sprachmodelle mit einer Methode trainierten, die das zusätzliche Merkmal irrelevant machen könnte.
„Wenn es gut funktioniert, können sie die Sanktionen effektiv umgehen“, soll Dylan Patel, Chefanalyst bei SemiAnalysis, gesagt haben.