Samsung hat das weltweit erste große Computersystem mit GPUs mit integrierten Processing-in-Memory (PIM)-Chips gebaut. Diese Speichermodule, die auf 96 AMD Instinct MI100-GPUs geladen wurden, steigerten laut a die KI-Trainingsleistung um das 2,5-fache Bericht von Business Korea.
PIM ist eine neue Generation von Computerspeichern, die rechnerisch komplexe Arbeitsabläufe beschleunigen können, die von Prozessoren wie CPUs und GPUs verarbeitet werden. Wie der Name schon sagt, ist jedes Speichermodul in der Lage, Daten selbst zu verarbeiten, wodurch die Datenmenge reduziert wird, die zwischen dem Speicher und dem Prozessor übertragen werden muss.
Samsung hat die PIM-modifizierten GPUs ursprünglich im Oktober demonstriert, aber erst kürzlich 96 PIM-modifizierte GPUs in einem Cluster zusammengefasst. Im Vergleich zu normalem Videospeicher schnitten diese modifizierten MI100-Chips nicht nur 2,5-mal besser ab, sie senkten auch den Stromverbrauch um das 2,67-fache, wodurch die Effizienz der GPUs bei der Ausführung von KI-Algorithmen drastisch gesteigert wurde.
Samsung entwickelt PIM schon seit einiger Zeit. Das Unternehmen demonstrierte 2021 mehrere Implementierungen mit verschiedenen Speichertypen, darunter DDR4, LPDDR5X, GDDR6 und HBM2. In LPDDR5-Form verzeichnete Samsung bei einem Testprogramm mit einer Meta-KI-Workload eine 1,8-fache Leistungssteigerung bei einer Reduzierung des Stromverbrauchs um 42,6 % und einer Reduzierung der Latenz um 70 %. Noch beeindruckender ist, dass diese Ergebnisse von einem Standard-Serversystem ohne Modifikationen an der Hauptplatine oder CPU stammen (alles, was sich geändert hat, war ein Wechsel zu PIM-fähigen LPDDR5-DIMMs).
Samsung ist nicht das einzige Unternehmen, das PIM-Chips entwickelt – SK hynix hat Anfang dieses Jahres seine eigenen PIM-Module herausgebracht. Laut vorläufigen Tests von SK Hynix beschleunigte die GDDR6-AiM-Anwendung (Accelerator in Memory) die KI-Verarbeitung um das 16-fache und reduzierte den Stromverbrauch um 80 %. Das ist viel schneller als die modifizierten MI100 von Samsung, aber wir wissen nicht, was SK hynix zum Testen verwendet hat, also ist es kein direkter Vergleich.
Ungeachtet dessen scheint PIM eine wirksame Lösung zur Beschleunigung von KI-beschleunigten Arbeitsabläufen zu sein. „Als Leiter des KI-Forschungszentrums möchte ich Samsung zu einem Halbleiterunternehmen machen, das KI besser als jedes andere Unternehmen einsetzt“, sagte Choi Chang-kyu, Vizepräsident und Leiter des KI-Forschungszentrums am Samsung Electronics Advanced Institute of Technology, sagte Business Korea.