新AI算法有望将运算功耗降低95% 但需要重新设计硬件

2024年10月10日 05:23 次阅读 稿源:cnBeta.COM 条评论

随着越来越多的公司加入发展人工智能的行列,但运行人工智能模型的能耗正成为一个亟待解决的问题。 虽然 NVIDIA、微软和 OpenAI 等知名企业对这一情况轻描淡写,但有一家公司声称自己已经找到了解决方案。

Float_example.svg_.webp

BitEnergy AI 公司的研究人员已经开发出了一种技术,可以在不牺牲太多准确性和速度的情况下大幅降低人工智能的能耗,该研究称,该方法可将能耗降低 95%。 研究小组将这一突破称为"线性复杂度乘法"(Linear-Complexity Multiplication),简称 L-Mul。 计算过程使用整数加法,在人工智能相关任务中,整数加法比浮点乘法所需的能量和步骤要少得多。

在处理非常大或非常小的数字时,浮点数在人工智能计算中被广泛使用。 这些数字就像二进制形式的科学记数法,可以让人工智能系统精确地执行复杂的计算,然而,这种精确性是有代价的。

人工智能热潮对能源的需求不断增长,已经达到了令人担忧的程度,一些模型需要大量电力。 例如,ChatGPT 的用电量相当于 18000 个美国家庭(每天 564 兆瓦时)。 剑桥另类金融中心的分析师估计,到 2027 年,人工智能行业每年的耗电量可能在 85 到 134 太瓦时之间。

L-Mul 算法通过用较简单的整数加法来近似复杂的浮点乘法,解决了这种过度浪费能源的问题。 在测试中,人工智能模型在保持精度的同时,将张量乘法的能耗降低了 95%,将点乘法的能耗降低了 80%。

Screenshot-2024-10-08-123255.webp

L-Mul 技术还能按比例提高性能。 该算法超越了当前的 8 位计算标准,以更少的位级计算实现了更高的精度。 涵盖自然语言处理和机器视觉等各种人工智能任务的测试表明,性能只降低了 0.07%--如果考虑到节能因素,这只是很小的代价。

基于变压器的模型(如 GPT)可以从 L-Mul 中获益最多,因为该算法可以无缝集成到注意力机制中,而注意力机制是这些系统中一个关键但能耗密集的组件。 对 Llama 和 Mistral 等流行人工智能模型的测试甚至显示,某些任务的准确性有所提高。 不过,有好消息也有坏消息。

坏消息是,L-Mul 目前需要专门的硬件。 目前的人工智能处理还没有经过优化,无法利用这项技术。 好消息是,开发专用硬件和编程应用程序接口的计划正在进行中,这将为在合理的时间内实现更节能的人工智能铺平道路。

唯一的障碍是一些公司,特别是英伟达(NVIDIA),阻碍了采用人工智能的努力,而这确实是有可能发生的。 这家 GPU 制造商以人工智能应用的首选硬件开发商而声名鹊起。 当它占据了市场的绝大部分份额时,它是否会向更节能的硬件举双手赞成是值得怀疑的。

对于那些追求复杂数学解决方案的人来说,研究的预印本已发布在罗格斯大学的"arXiv"图书馆上。

对文章打分

新AI算法有望将运算功耗降低95% 但需要重新设计硬件

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan