AMD hat einige interessante Daten zu den Fähigkeiten seiner RDNA 3 GPU- und XDNA NPU-Hardware in verbraucherorientierten KI-Workloads veröffentlicht.
AMDs RDNA 3 GPUs und XDNA NPU bieten eine robuste Suite verbraucherorientierter KI-Funktionen auf PC-Plattformen
Es besteht kein Zweifel, dass AMD durch die Implementierung von XDNA NPU auf seinen Ryzen-APUs der Zeit voraus war, wenn es darum ging, einem breiteren PC-Publikum KI-Funktionen anzubieten. Die erste NPU kam 2023 mit den Phoenix „Ryzen 7040“-APUs auf den Markt und wurde kürzlich mit der Hawk Point „Ryzen 8040“-Serie aktualisiert. Neben der NPU verfügt AMDs RDNA-3-GPU-Architektur auch über eine große Anzahl dedizierter KI-Kerne, die diese Arbeitslasten bewältigen können, und das Unternehmen versucht, seine Dynamik mit seiner ROCm-Software-Suite zu festigen.
Während des letzten „Meet The Experts“-Webinars diskutierte AMD, wie seine Radeon-Grafiksuite wie die RDNA 3-Serie Gamern, Entwicklern und Entwicklern eine Reihe optimierter Workloads bietet, darunter:
- Verbesserung der Videoqualität
- Entfernung von Hintergrundgeräuschen
- Text-zu-Bild (GenAI)
- Große Sprachmodelle (GenAI)
- Fotobearbeitung
- Videobearbeitung
- Hochskalierung
- Text-zu-Bild
- Modellschulung (Linux)
- ROCm-Plattform (Linux)
Beginnend mit der AMD RDNA 3-Grafikarchitektur bieten die neuesten GPUs der Radeon RX 7000-GPUs und Ryzen 7000/8000-CPUs eine über zweifache Steigerung der KI-Leistung von Generation zu Generation.
Diese GPU-Produkte bieten bis zu 192 KI-Beschleuniger, die für FP16-Workloads optimiert sind, in mehreren ML-Frameworks wie Microsoft DirectML, Nod.AI Shark und ROCm optimiert sind und über große Pools an dediziertem VRAM verfügen, der für die Verarbeitung großer Datenmengen unerlässlich ist ( bis zu 48 GB) und verfügen außerdem über eine schnellere Bandbreite, die durch die Infinity-Cache-Technologie gesteigert wird.
Laut AMD umfassen die meisten KI-Anwendungsfälle auf der PC-Plattform LLMs und Diffusionsmodelle, die hauptsächlich von den FP16-Rechen- und Speicherkapazitäten der Hardware abhängig sind, auf der sie ausgeführt werden. Bestimmte Modelle wie SDXL (Diffusion) sind an Compute gebunden und benötigen etwa 4–16 GB Speicher, während Llama2-13B und Mistral-8x 7B an Speicher gebunden sind und bis zu 23 GB Speicher nutzen können.
Wie bereits erwähnt, verfügt AMD über eine breite Palette an Hardware mit dedizierter KI-Beschleunigung. Sogar die Radeon RX 7600 XT des Unternehmens, eine 329 US-Dollar teure Grafikkarte, verfügt über 16 GB VRAM und bietet in LM Studio eine 3,6-fache Leistungssteigerung gegenüber dem Ryzen 7 8700G, während die RX 7900 XT bis zu 8-mal schneller ist der 8700G.
LM Studio-Leistung (höher ist besser):
- Ryzen 7 8700G NPU: 11 Token/Sekunde
- RX 7600 XT 16 GB: 40 Token/Sekunde
- RX 7900 XT 20 GB: 85 Token/Sekunde
AMUSE-Diffusion (niedriger ist besser):
- Ryzen 7 8700G NPU: 2,6 Sekunden/Bild
- RX 7600 XT 16 GB: 0,97 Sekunden/Bild
- RX 7900 XT 20 GB: 0,6 Sekunden/Bild
AMD zieht auch einen kleinen Vergleich mit NVIDIAs GeForce RTX, die das grüne Team als „Premium AI PC“-Plattform bezeichnet. Beide Produktreihen bieten ähnliche Unterstützung, aber AMD zeigt, dass seine 16-GB-GPUs zu einem niedrigeren Preis von 329 US-Dollar (7600 XT) erhältlich sind, während NVIDIAs 16-GB-GPU der Einstiegsklasse bei etwa 500 US-Dollar (4060 TI 16 GB) beginnt. Das Unternehmen verfügt außerdem über einen High-End-Stack, der auf bis zu 48 GB Speicher skaliert. Auch bei KI zeigte AMD zuvor eine starke Leistung gegenüber Intels Core Ultra zu einem besseren Preis-Leistungs-Verhältnis.
Im Hinblick auf die Zukunft spricht AMD über die Fortschritte bei ROCm 6.0 und darüber, wie der Open-Source-Stack Unterstützung für Consumer-Hardware wie die Radeon RX 7900 XTX, 7900 XT, 7900 GRE, PRO W7900 und PRO W7800 erhalten hat. ROCm 6.0 unterstützt sowohl PyTorch- als auch ONNX Runtime ML-Modelle und -Algorithmen auf dem Betriebssystem Ubuntu 22.03.3 (Linux) und verbessert die Interoperabilität durch Hinzufügen von INT8 für komplexere Modelle.
Das Unternehmen versucht außerdem, ROCm noch quelloffener zu machen, indem es Entwicklern eine Reihe von Software-Stacks und Hardware-Dokumentation anbietet.
AMD und seine ROCm-Suite konkurrieren mit dem dominanten NVIDIA CUDA- und TensorRT-Stack, während Intel mit seinem eigenen OneAPI AI-Stack ebenfalls an Boden gewinnt. Dies sind die drei Kräfte, auf die Sie achten sollten, wenn es um KI-Workloads auf der PC-Plattform geht. Erwarten Sie also in Zukunft viele Innovationen und Optimierungen für bestehende Hardware und Hardware der nächsten Generation.