周一，半导体行业巨头英伟达发布了新一代人工智能（AI）芯片H200，这款芯片旨在针对各种AI模型进行训练和部署。H200芯片是目前用于训练最先进的大型语言模型H100芯片的升级版，配备了141GB的内存，特别擅长执行“推理”任务。在执行推理或生成问题答案时，H200的性能比H100提升了60%至90%。
根据英伟达官网的消息，基于英伟达的“Hopper”架构，H200是该公司首款采用HBM3e内存的芯片。这种内存速度更快，容量更大，使其更适用于大型语言模型。
英伟达表示，H200使用HBM3e内存能够以每秒4.8TB的速度提供141GB的容量，相比于A100，其容量几乎翻了一倍，带宽提高了2.4倍。
预计H200将于2024年第二季度上市，届时将与AMD的MI300X GPU展开竞争。与H200相似，AMD的新芯片相比前代产品拥有更多内存，这对运行大型语言模型的推理计算有帮助。
英伟达还表示，H200将与H100兼容，这意味着那些已经在使用H100进行训练的AI公司无需更改他们的服务器系统或软件即可适应H200。
英伟达副总裁Ian Buck称：“为了训练生成式AI和高性能计算应用，必须使用高性能GPU。有了H200，行业领先的AI超级计算平台可以更快地解决一些世界上最重要的挑战。”
英伟达的加速计算首席产品经理Dion Harris表示：“观察市场上的动态，可以看到大型模型的尺寸正在迅速扩大。这是我们继续引领最新、最伟大技术的又一例证。”
据美国金融机构Raymond James透露，H100芯片的成本仅为3320美元，但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%，成为有史以来最赚钱的芯片之一。
在训练大型语言模型时，通常需要数千个H100集群协同工作，因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。
由于对其产品的需求看似无穷无尽，英伟达今年的销售额大幅增长，股价上涨了230%，市值突破了1.2万亿美元大关。截至周一收盘，该股收涨0.59%，报486.2美元。