新AI算法有望将运算功耗降低95% 但需要重新设计硬件

BitEnergy AI 公司的研究人员已经开发出了一种技术，可以在不牺牲太多准确性和速度的情况下大幅降低人工智能的能耗，该研究称，该方法可将能耗降低 95%。 研究小组将这一突破称为"线性复杂度乘法"（Linear-Complexity Multiplication），简称 L-Mul。 计算过程使用整数加法，在人工智能相关任务中，整数加法比浮点乘法所需的能量和步骤要少得多。

在处理非常大或非常小的数字时，浮点数在人工智能计算中被广泛使用。 这些数字就像二进制形式的科学记数法，可以让人工智能系统精确地执行复杂的计算，然而，这种精确性是有代价的。

人工智能热潮对能源的需求不断增长，已经达到了令人担忧的程度，一些模型需要大量电力。 例如，ChatGPT 的用电量相当于 18000 个美国家庭（每天 564 兆瓦时）。 剑桥另类金融中心的分析师估计，到 2027 年，人工智能行业每年的耗电量可能在 85 到 134 太瓦时之间。

L-Mul 算法通过用较简单的整数加法来近似复杂的浮点乘法，解决了这种过度浪费能源的问题。 在测试中，人工智能模型在保持精度的同时，将张量乘法的能耗降低了 95%，将点乘法的能耗降低了 80%。

L-Mul 技术还能按比例提高性能。 该算法超越了当前的 8 位计算标准，以更少的位级计算实现了更高的精度。 涵盖自然语言处理和机器视觉等各种人工智能任务的测试表明，性能只降低了 0.07%--如果考虑到节能因素，这只是很小的代价。

基于变压器的模型（如 GPT）可以从 L-Mul 中获益最多，因为该算法可以无缝集成到注意力机制中，而注意力机制是这些系统中一个关键但能耗密集的组件。 对 Llama 和 Mistral 等流行人工智能模型的测试甚至显示，某些任务的准确性有所提高。 不过，有好消息也有坏消息。

坏消息是，L-Mul 目前需要专门的硬件。 目前的人工智能处理还没有经过优化，无法利用这项技术。 好消息是，开发专用硬件和编程应用程序接口的计划正在进行中，这将为在合理的时间内实现更节能的人工智能铺平道路。

唯一的障碍是一些公司，特别是英伟达（NVIDIA），阻碍了采用人工智能的努力，而这确实是有可能发生的。 这家 GPU 制造商以人工智能应用的首选硬件开发商而声名鹊起。 当它占据了市场的绝大部分份额时，它是否会向更节能的硬件举双手赞成是值得怀疑的。

对于那些追求复杂数学解决方案的人来说，研究的预印本已发布在罗格斯大学的"arXiv"图书馆上。