明尼苏达大学双城分校的工程研究人员开发出一种先进的硬件设备,可将人工智能(AI)计算应用中的能耗至少降低 1000 倍。这项研究发表在《自然》杂志出版的同行评审科学杂志《npj 非常规计算》上。研究人员拥有该设备所用技术的多项专利。
随着人工智能应用需求的不断增长,研究人员一直在研究如何在保持高性能和低成本的同时,创建更节能的流程。通常,机器或人工智能流程在逻辑(系统内处理信息的地方)和内存(存储数据的地方)之间传输数据,需要消耗大量的电力和能源。
明尼苏达大学科学与工程学院的一个研究小组展示了一种新模式,在这种模式下,数据永远不会离开内存,这种模式被称为计算随机存取内存(CRAM)。
明尼苏达大学电气与计算机工程系博士后研究员、论文第一作者吕杨说:"这项工作是 CRAM 的首次实验演示,数据可以完全在内存阵列内处理,而无需离开计算机存储信息的网格。"
定制的硬件设备计划帮助人工智能提高能效。资料来源:明尼苏达大学双城分校
国际能源机构(IEA)发布了一份全球能源使用预测预测,人工智能的能源消耗可能翻一番,从 2022 年的 460 太瓦时(TWh)增至 2026 年的 1,000 太瓦时(TWh)。这大致相当于日本全国的耗电量。
据新论文的作者称,基于 CRAM 的机器学习推理加速器估计可实现 1000 次的改进。另一个例子显示,与传统方法相比,可节省 2500 和 1700 倍的能源。
"这项研究已经有20多年的历史了。"该论文的资深作者、明尼苏达大学麦克奈特特聘教授兼电气与计算机工程系罗伯特-F-哈特曼讲座教授王建平说:"20年前,我们最初提出的将存储单元直接用于计算的概念被认为是疯狂的。"
"自2003年以来,我们的学生团队不断发展壮大,明尼苏达大学也建立了一支真正跨学科的教师团队,从物理学、材料科学与工程、计算机科学与工程,到建模和基准测试,再到硬件创建,我们都取得了积极的成果,现在我们已经证明,这种技术是可行的,并已准备好将其应用到技术中。"
磁隧道结 (MTJs) 是一种纳米结构器件,用于改进硬盘驱动器、传感器和其他微电子系统,包括磁随机存取存储器 (MRAM),MRAM 已被用于微控制器和智能手表等嵌入式系统。
CRAM 体系结构实现了真正的内存计算,打破了传统冯-诺依曼体系结构中作为瓶颈的计算与内存之间的壁垒,传统冯-诺依曼体系结构是存储程序计算机的理论设计,几乎是所有现代计算机的基础。
"作为一种能效极高的基于数字的内存计算基板,CRAM 非常灵活,可以在内存阵列的任何位置进行计算。因此,我们可以重新配置 CRAM,使其最符合各种人工智能算法的性能需求,"计算架构专家、论文共同作者、明尼苏达大学电气与计算机工程系副教授 Ulya Karpuzcu 说。"与当今人工智能系统的传统构建模块相比,它更加节能。"
CRAM 直接在内存单元内执行计算,有效利用了阵列结构,无需进行缓慢而耗能的数据传输。最高效的短期随机存取存储器(RAM)设备使用四五个晶体管来编码一个 1 或 0,而 MTJ(一种自旋电子设备)只需很少的能量就能实现相同的功能,速度更快,而且能适应恶劣的环境。自旋电子器件利用电子的自旋而不是电荷来存储数据,为传统的晶体管芯片提供了更高效的替代方案。
目前,该团队已计划与包括明尼苏达州在内的半导体行业领导者合作,提供大规模的演示和生产硬件,以推进人工智能功能。
编译自/ScitechDaily