SK Hynix hat angekündigt dass es die branchenweit ersten 12-Layer-24-GB-HBM3-Speicherstacks entwickelt hatte, die sowohl eine hohe Dichte als auch eine extreme Bandbreite von 819 GB/s bieten. Die 12-Hi-HBM3-Produkte behalten die gleiche Höhe wie die bestehenden 8-lagigen HBM3-Produkte des Unternehmens, was bedeutet, dass sie einfach einzusetzen sind.
Das bekannt gute Stack-Die (KGSD)-Produkt von SK Hynix mit 24 GB HBM3 platziert zwölf 16-Gb-Speichergeräte, die über Through Silicon Vias (TSVs) auf einer Basisschicht mit einer 1024-Bit-Schnittstelle verbunden sind. Das Gerät verfügt über eine Datenübertragungsgeschwindigkeit von 6400 MT/s und daher bietet das gesamte 24-GB-HBM3-Modul eine Bandbreite von 819,2 GB/s.
Abhängig vom tatsächlichen Speichersubsystem können solche Module 3,2 TB/s – 4,915 TB/s Bandbreite für 96 GB Speicher über eine 4096-Bit- bzw. 144 GB Speicher über eine 6140-Bit-Schnittstelle ermöglichen. Um die Zahlen in einen Zusammenhang zu bringen: Nvidias H100 NVL – die bisher fortschrittlichste HBM3-Implementierung – verfügt über 96 GB Speicher mit 3,9 TB/s Bandbreite für jede seiner beiden GH100-Rechen-GPUs.
Das Stapeln von 12 Lagen HBM DRAM übereinander ist aus mehreren Gründen eine Herausforderung. Erstens ist es schwierig, etwa 60.000 oder mehr TSV-Löcher durch das Gehäuse zu bohren, um alle zwölf Schichten zu verbinden. Zweitens können 12-Hi-HBM-DRAM-Pakete physikalisch nicht höher werden als 8-Hi-HBM-KGSDs (normalerweise 700 – 800 Mikron, 720 Mikron im Fall von Samsung), daher wird es (wenn überhaupt möglich) äußerst kompliziert sein, solche HBM3-KGSDs neben einer CPU oder einer GPU mit fester Höhe zu installieren. Zu diesem Zweck müssen DRAM-Hersteller wie SK Hynix entweder die Dicke einer einzelnen DRAM-Schicht reduzieren, ohne die Ausbeute oder Leistung zu opfern (was eine Reihe von Herausforderungen mit sich bringt), oder die Lücke zwischen den Schichten verringern und die Basisschicht verkleinern.
SK Hynix sagt, dass es, um sein 12-Hi-HBM3-Produkt mit der gleichen Höhe wie sein 8Hi-HBM3-Gerät zu bauen, seine Advanced Mass Reflow Molded Underfill (MR-MUF)-Verkapselungstechnologie verwendet hat, die eine Masse-Reflow (MR)-Chipbefestigung zum Schrumpfen beinhaltet Base-Layer- und MUF-Prozesse (Moulded Underfill) zur Verringerung der Chip-to-Die-Abstände.
SK Hynix hat Muster seines 24 GB HBM3-Produkts an mehrere gespannt wartende Kunden geliefert. Das Produkt wird derzeit einer Leistungsbewertung unterzogen und soll in der zweiten Jahreshälfte in die Massenproduktion gehen.