三星日前宣布了全球首款36GB超大容量的新一代高带宽内存HBM3E，而在3月19日凌晨开幕的NVIDIA GTC 2024技术大会上，三星将首次进行公开展示。三星HBM3E采用了24Gb颗粒、12层堆叠(12H)，从而将单颗容量做到史无前例的36GB，带宽也提升至1280GB/s，相比前代8H HBM3容量、带宽都提升了50％，垂直密度则增加了超过20％。
NVIDIA H200 AI加速卡将首发采用三星36GB HBM3E，只需要八颗，就能达成6144-bit的位宽、216GB的容量，从而超过192GB HBM3内存的AMD Instinct MI300X。
H200还支持四路、八路互连，因此单系统的HBM3E内存容量可以达到864GB、1728GB！
按照惯例，NVIDIA可能会出于良品率的考虑，屏蔽一小部分容量，但是单卡超过200GB、单系统超过1.6TB必然是很轻松的。
按照NVIDIA的说法，H200虽然还是Hopper架构，但相比H100再次飞跃，700亿参数Llama2、1750亿参数GTP-3模型的推理性能分别提升多达90％、60％，对比前代A100 HPC模拟性能直接翻番。
NVIDIA H200计划2024年第二季度出货，三星36GB HBM3E则会在第一季度投入量产，正好赶得上。