新AI算法能耗低至1/50

我国科研人员取得重要突破:仅需13W功耗即可运行10亿参数大语言模型

近日,美国加州大学圣克鲁兹分校的研究团队实现了一项重大突破,他们提出了一种全新的方法,仅需13W的功率(约为一个现代LED灯泡的功率),就能运行10亿参数规模的大语言模型。相比之下,用于大语言模型任务的数据中心级GPU需要约700W的功耗。这一成果有望改变当前AI领域的研究现状,提高计算效率,降低能耗。

为了缓解这种状况,研究人员淘汰了矩阵乘法的密集型技术,提出了“三元数”方案,即只有负一、零或正一这三个数值。此外,他们还使用一种名为现场可编程门阵列(FPGA)的高度定制电路创建了定制硬件,以最大限度地利用神经网络中的节能功能。在定制硬件上运行时,可以达到与Meta的Llama等顶级模型相同的性能,但神经网络的功耗仅为常规配置的五十分之一。这一神经网络设计还可以用于在人工智能行业常用的标准GPU上运行,测试结果显示,与基于矩阵乘法的神经网络相比,显存占用仅为十分之一。

此次研究的成功对于推动AI技术的发展具有重要意义。一方面,它可以提高计算效率,降低数据中心的能耗;另一方面,这也有助于加快AI技术的应用进程,推动各行各业的智能化发展。未来,随着更多高效能、低耗能的AI解决方案的出现,AI技术将在全球范围内得到更广泛的应用和发展。

发表回复