Intel ist den Leistungsansprüchen von AMD hinsichtlich der Data Center AI für seine EPYC Turin-CPUs der 5. Generation nachgekommen und erklärt, dass der Xeon der 5. Generation mit den richtigen Optimierungen schneller sei.
AMD zeigte, dass seine EPYC Turin-CPUs der 5. Generation mit Zen 5-Kernen die Xeon-Chips der 5. Generation in KI-Benchmarks schlagen, aber Intel sagt, dass die 5. Generation gegenüber EPYC führt, wenn die richtigen Optimierungen verwendet werden
Auf der Computex 2024 hat AMD offiziell seine EPYC-CPU-Familie der 5. Generation mit dem Codenamen Turin angekündigt, die die neueste Zen 5-Kernarchitektur verwendet. Das Unternehmen hat einige große Zahlen im Vergleich zur Intel Xeon-Familie der 5. Generation mit dem Codenamen Emerald Rapids vorgelegt, insbesondere bei KI-Durchsatz-Workloads, aber Intel hat jetzt klargestellt, dass diese Benchmarks ohne die richtigen Optimierungen für seine Xeon-Familie durchgeführt wurden, und mit diesen implementierten sollten sogar Xeons der 5. Generation EPYC Turin der 5. Generation bei der KI-Leistung leicht übertreffen.
Der von Intel besonders hervorgehobene Benchmark ist der Llama2-7B Chatbot, der auf dem INT4-Inferenzdurchsatz basiert und mit einer Latenz von 50 ms durchgeführt wurde. AMD zeigte, dass seine EPYC-CPUs der 5. Generation in einer 2S-Konfiguration (Dual-Socket) mit jeweils 128 Kernen eine Leistung von bis zu 671 Token/s bieten, während Intels Xeon Platinum 8592+-Chips der 5. Generation mit jeweils 64 Kernen in derselben Dual-Socket-Konfiguration nur eine Leistung von 125 Token/s bieten. Das war eine enorme 5,4-fache Steigerung für die AMD EPYC Turin-CPUs.
Intel gibt an, dass die Benchmarks ohne die richtige Software-Suite für die Xeon-SKUs der 5. Generation durchgeführt wurden und AMD in seinen Fußnoten keine Details zur Intel-Konfiguration veröffentlicht hat.
Das blaue Team hat nun seine Leistungsbenchmarks mit denselben KI-Workloads durchgeführt und es scheint, als seien die Ergebnisse völlig anders.
Mithilfe der Intel-Erweiterung für PyTorch (P99-Latenz) können die Emerald Rapids Xeon-CPUs der 5. Generation eine 5,4-mal bessere Leistung erzielen als die von AMD präsentierten. Die Ausgabe von 686 Tokens/s übertrifft die Leistung der EPYC Zen 5-CPUs von AMD der 5. Generation. Dies ist nicht nur Intels Softwareoptimierungen für Llama2 zu verdanken, sondern auch den zusätzlichen KI-Hardwarebeschleunigern innerhalb der Emerald Rapids-Familie der 5. Generation, die für einen schönen Schub sorgen.
Intel hört hier nicht auf, das Unternehmen gibt auch an, dass es bei den beiden anderen Workloads, Übersetzung und Zusammenfassung, eine Leistungssteigerung um das 1,2- bis 2,3-fache im Vergleich zu den Ergebnissen verzeichnete, die AMD in seiner Präsentation auf der Computex 2024 verwendet hatte.
Der entscheidendere Aspekt ist außerdem, dass diese Benchmarks stark vom Speicher abhängen und die EPYC Turin-Familie der nächsten Generation über eine 12-Kanal-DDR5-Schnittstelle verfügen wird. Während Intels Xeon „Emerald Rapids“-CPUs der aktuellen Generation maximal 8 DDR5-Speicherkanäle haben, werden die Granite Rapids „Xeon 6700P/6900P“-CPUs der nächsten Generation nicht nur mit derselben „Bis zu“-12-Kanal-Speicherschnittstelle ausgestattet sein, sondern auch über dieselbe Anzahl von 128 Kernen mit P-Cores und bis zu 288 E-Cores mit der Xeon 6900E-Familie verfügen, die Anfang 2025 auf den Markt kommt. Die Granite Rapids Xeon 6700P-CPUs werden im dritten Quartal 2024 mit bis zu 86 P-Cores erhältlich sein.
Es sieht so aus, als ob alle großen Firmen, die derzeit im KI-Geschäft tätig sind, nicht nur ihre Leistungsversprechen ernst nehmen, sondern auch das, was andere vorweisen. NVIDIA und AMD lieferten sich vor einigen Monaten einen ähnlichen Kampf, als das rote Team seine MI300X-Zahlen gegen die Hopper-Reihe bekannt gab, und von da an war es ein Hin und Her.
Auch auf der KI-PC-Seite liefern sich die Unternehmen AMD, Intel, Qualcomm und NVIDIA einen erbitterten Kampf, bei dem die KI-Tops das Stadtgespräch sind. Angesichts der steigenden Nachfrage nach KI im gesamten Technologiesektor versuchen alle diese Technologieunternehmen, mehr Kunden für ihre Produkte zu gewinnen und so viele Einheiten auszuliefern, wie möglich, um den ständig steigenden Bedarf an leistungsfähiger Hardware zu decken.