当今的人工智能基础设施主要依靠 GPU 加速服务器的扩展来推动，其中的主要玩家Google指出，根据其Google Cloud Services云计算体系内部分析的记录，CPU 仍然是人工智能/ML 工作负载的主要计算设备。在 TechFieldDay 活动期间，Google云产品经理 Brandon Royal 的演讲解释了 CPU 在当今人工智能游戏中的地位。
人工智能的生命周期分为两个部分：训练和推理。在训练过程中，需要大量的计算能力和巨大的内存容量，以便将不断扩大的人工智能模型装入内存。最新的模型，如 GPT-4 和 Gemini，包含数十亿个参数，需要数千个 GPU 或其他加速器并行工作，才能高效地进行训练。
另一方面，推理所需的计算强度较低，但仍能从加速中获益。在推理过程中，会对预先训练好的模型进行优化和部署，以便对新数据进行预测。虽然推理所需的计算量比训练少，但延迟和吞吐量对实时推理至关重要。Google发现，虽然 GPU 是训练阶段的理想选择，但模型通常在 CPU 上进行优化和推理。这意味着，有些客户出于各种原因选择 CPU 作为人工智能推理的媒介。
这可能是成本和可用性的问题。与高端 GPU 或专门的人工智能加速器相比，CPU 往往更便宜，也更容易获得。对于许多应用而言，CPU 能以较低的成本提供足够的推理性能。CPU 还具有灵活性。由于大多数系统已经配备了 CPU，它们为较小的人工智能模型提供了便捷的部署途径。GPU 通常需要专门的库和驱动程序，而基于 CPU 的推理可以利用现有的基础设施。这使得将人工智能集成到现有产品和工作流程中变得更加简单。延迟和吞吐量的权衡也会发挥作用。GPU 擅长大规模并行推理吞吐量。但 CPU 通常可以为实时请求提供更低的延迟。对于需要亚秒级响应的在线推荐等应用，CPU 推理可能是首选。
此外，CPU 对推理的优化进展迅速。在更快的时钟、更多的内核以及英特尔 AVX-512 和 AMX 等新指令的推动下，性能不断提高，仅靠 CPU 就能流畅运行人工智能工作负载，如果服务器配置了不止一个插槽，意味着有更多的人工智能引擎存在，服务器就能高效处理数十亿参数大小的人工智能模型，则性能尤其出色。英特尔指出，一般来说，参数不超过200 亿的模型在 CPU 上可以正常运行，而更大的模型则必须使用专门的加速器。
像 GPT-4、Claude 和 Gemini 这样的人工智能模型都是庞大的模型，参数规模可达一万亿以上。然而，它们是多模式的，也就是说，它们处理文本和视频。现实世界中的企业工作负载可能是一个人工智能模型推断公司的本地文档，以回答客户支持问题。对于这种解决方案来说，运行 GPT-4 这样的模型就显得多余了。相比之下，像LLAMA 2或 Mistral 这样小得多的模型可以很好地实现类似目的，而不需要第三方 API 访问，只需在本地或云服务器上运行几个 CPU 即可。这就降低了总体拥有成本（TCO），简化了人工智能管道。