2022年8月,美政府对NVIDIA A100、H100两款计算加速卡实施禁令,不得销售给中国企业,黄仁勋随后表态会推出替代版本。很快,NVIDIA就拿出了专供中国市场的A800,在已有A100的基础上将NVLink高速互连总线的带宽从600GB/s降低到400GB/s,其他完全不变。如此一来,A800的大规模扩展互连将受到限制,但是单卡性能没有损失。
昨晚的GTC 2023春季图形大会上,NVIDIA又确认为中国市场开发了第二个特供版H800,基于已有的H100调整而来,符合美政府的规定。
NVIDIA没有透露H800的具体变化,外媒称和A800类似,将芯片间互连带宽缩减了一半,如果用于AI训练会消耗更长的时间。阿里巴巴、百度、腾讯BAT三巨头都已经用上了H800加速卡。
H100加速卡采用全新的Hopper架构,GH100 GPU核心,台积电4nm制造工艺、CoWoS 2.5D封装技术,集成800亿个晶体管,核心面积814平方毫米。
它拥有18432个CUDA核心、576个Tensor核心、60MB二级缓存,可搭配6144-bit位宽的六颗HBM3/HBM2e,总容量80GB,支持PCIe 5.0、第四代NVLink总线。
两种样式,其中SXM版本15872个CUDA核心、528个Tensor核心,显存带宽3.35TB/s,NVLink带宽900GB/s,PCIe 5.0带宽128GB/s,热设计功耗最高700W。
PCIe 5.0版本14952个CUDA核心、456个Tensor核心,显存带宽2TB/s,NVLink带宽600GB/s,PCIe 5.0带宽128GB/s,热设计功耗300-350W。
目前尚不清楚中国特供的H800是哪种样式,猜测很可能是PCIe,那么NVLink互连带宽就只有300GB/s,PCIe 5.0则应该不会缩水。
A800规格表
H100规格表:精简一下带宽就是H800
H100加速卡