Google hat angekündigt Der „leistungsstärkste“ skalierbare und flexible KI-Beschleuniger des Unternehmens, genannt Cloud TPU v5p, zusammen mit einem neuen KI-Hypercomputer-Modell.
Google plant, mit seinen brandneuen Cloud-TPV-v5p-Chip- und KI-Hypercomputer-Lösungen die Herrschaft über den KI-Zug zu übernehmen
Da sich die KI-Märkte schnell weiterentwickeln, orientieren sich Unternehmen an ihren Lösungen, wenn es darum geht, Rechenleistung für laufende Entwicklungen bereitzustellen. Unternehmen wie Microsoft mit ihrem Maia 100 AI Accelerator und Amazon mit ihrem Trainium2 streben danach, sich gegenseitig zu übertreffen, wenn es um leistungsoptimierte Hardware zur Bewältigung von KI-Workloads geht, und Google hat sich tatsächlich dieser Liste angeschlossen.
Jetzt hat Google mehrere spannende Elemente vorgestellt, wie zum Beispiel sein neues Gemini-Modell für die KI-Branche, aber unsere Berichterstattung wird sich mehr auf die Hardware-Seite konzentrieren. Die Cloud TPU v5p ist die derzeit leistungsfähigste und kostengünstigste TPU (Cloud Tensor Processing Unit) von Google. Jeder TPU v5p-Pod besteht aus satten 8.960 Chips, die über die Inter-Chip-Verbindung mit der höchsten Bandbreite von 4.800 Gbit/s pro Chip miteinander verbunden sind, was schnelle Übertragungsgeschwindigkeiten und optimale Leistung gewährleistet. Google will sich nicht zurückhalten, denn die kommenden Zahlen zum Generationssprung werden Sie in Erstaunen versetzen.
Im Vergleich zum TPU v4 verfügt das neu veröffentlichte v5p über doppelt so große FLOPS (Floating-Point-Operationen pro Sekunde) und dreimal mehr High-Memory-Bandbreite, was im Bereich der künstlichen Intelligenz erstaunlich ist.
Darüber hinaus zeigt das TPU v5p beim Modelltraining einen 2,8-fachen Generationssprung bei den LLM-Trainingsgeschwindigkeiten. Google hat auch Platz geschaffen, um mehr Rechenleistung herauszuholen, da die TPU v5p „im Hinblick auf die insgesamt verfügbaren FLOPs pro Pod viermal skalierbarer ist als die TPU v4“.
Zusammenfassend für den Google Cloud TPU v5p AI-Chip:
- 2X mehr Flops im Vergleich zu TPU v4 (459 TFLOPs Bf16 / 918 TOPs INT8)
- Dreimal mehr Speicherkapazität im Vergleich zu TPU v4 (95 GB HBM)
- 2,8-mal schnelleres LLM-Training
- 1,9-mal schnelleres Einbettungsdichte-Modelltraining
- 2,25-mal mehr Bandbreite im Vergleich zu TPU v4 (2765 GB/s vs. 1228 GB/s)
- 2X Interchip Interconnect-Bandbreite im Vergleich zu TPU v4 (4800 Gbit/s vs. 2400 Gbit/s)
Google hat den offensichtlichen Erfolg erkannt, wenn es darum geht, die besten Hardware- und Softwareressourcen an Bord zu haben, weshalb das Unternehmen über einen KI-Hypercomputer verfügt, bei dem es sich um einen „Satz“ von Elementen handelt, die so konzipiert sind, dass sie zusammenarbeiten, um moderne KI-Workloads zu ermöglichen. Google hat unter anderem leistungsoptimiertes Computing, optimalen Speicher und Flüssigkeitskühlung integriert, um die immensen Fähigkeiten insgesamt zu nutzen und eine Leistung zu erzielen, die in der Tat ein Branchenwunder für sich ist.
Auf der Softwareseite hat Google durch den Einsatz offener Software zur Optimierung seiner KI-Workloads die bestmögliche Leistung seiner Hardware gewährleistet. Hier ist eine Übersicht über die neu hinzugefügten Softwareressourcen in AI Hypercomputer:
- Umfangreiche Unterstützung für gängige ML-Frameworks wie JAX, TensorFlow und PyTorch ist sofort verfügbar. Sowohl JAX als auch PyTorch basieren auf dem OpenXLA-Compiler zum Erstellen anspruchsvoller LLMs. XLA dient als grundlegendes Rückgrat und ermöglicht die Erstellung komplexer mehrschichtiger Modelle (Llama 2-Training und Inferenz auf Cloud TPUs mit PyTorch/XLA). Es optimiert verteilte Architekturen über eine Vielzahl von Hardwareplattformen hinweg und gewährleistet so eine benutzerfreundliche und effiziente Modellentwicklung für verschiedene KI-Anwendungsfälle (AssemblyAI nutzt JAX/XLA und Cloud TPUs für groß angelegte KI-Sprache).
- Die offene und einzigartige Multislice Training- bzw. Multihost-Inferencing-Software sorgt für eine reibungslose und einfache Skalierung, Schulung und Bereitstellung von Arbeitslasten. Entwickler können auf Zehntausende Chips skalieren, um anspruchsvolle KI-Workloads zu unterstützen.
- Umfassende Integration mit Google Kubernetes Engine (GKE) und Google Compute Engine für effizientes Ressourcenmanagement, konsistente Betriebsumgebungen, automatische Skalierung, automatische Bereitstellung von Knotenpools, automatische Prüfpunkte, automatische Wiederaufnahme und zeitnahe Wiederherstellung nach Fehlern.
Der revolutionäre Ansatz von Google im Bereich der künstlichen Intelligenz wird deutlich an der neuen Reihe von Hardware- und Softwareelementen deutlich, die alle darauf ausgerichtet sind, die Barrieren zu überwinden, die die Branche einschränken. Es wird interessant sein zu sehen, wie die neuen Cloud TPU v5p-Verarbeitungseinheiten in Verbindung mit dem KI-Hypercomputer die laufenden Entwicklungen unterstützen, aber eines ist sicher: Sie werden die Konkurrenz sicherlich verstärken.
Nachrichtenquelle: Google Cloud