原本PC、服务器市场需求陷入了下降周期,然而今年由于AIGC人工智能技术的火爆,NVIDIA的高端GPU反而供不应求,最顶级的H100显卡售价超过25万元,现在订单都排到了明年。ChatGPT引发的AI热潮仍在继续,AI算力成为各大厂商投资的重点,而在这个领域中NVIDIA的AI显卡几乎是唯一选择,因此今年涌入了大量急单,导致NIVIDIA的订单已经排到了2024年,很多厂商要半年甚至近一年才能拿到产品。
订单在手,NVIDIA也紧急向台积电下单增产A100、H100等高性能AI显卡,导致后者的5nm产能利用率几近满载,现在台积电采用的是超级急件的方式给NVIDIA生产。
即便如此,订单到今年底都是满载的,实在是太火了。
H100基于GH100 GPU核心,定制版台积电4nm工艺制造,800晶体管,集成18432个CUDA核心、576个张量核心、60MB二级缓存,支持6144-bit HBM高带宽内存,支持PCIe 5.0。
H100计算卡有SXM、PCIe 5.0两种样式,其中SXM版本15872个CUDA核心、528个Tensor核心,PCIe 5.0版本14952个CUDA核心、456个Tensor核心,功耗最高达700W。
性能方面,FP64/FP32 60TFlops(每秒60万亿次),FP16 2000TFlops(每秒2000万亿次),TF32 1000TFlops(每秒1000万亿次),都三倍于A100,FP8 4000TFlops(每秒4000万亿次),六倍于A100。