新AI算法能耗低至1/50

我国科研人员取得重要突破：仅需13W功耗即可运行10亿参数大语言模型

近日，美国加州大学圣克鲁兹分校的研究团队实现了一项重大突破，他们提出了一种全新的方法，仅需13W的功率（约为一个现代LED灯泡的功率），就能运行10亿参数规模的大语言模型。相比之下，用于大语言模型任务的数据中心级GPU需要约700W的功耗。这一成果有望改变当前AI领域的研究现状，提高计算效率，降低能耗。

为了缓解这种状况，研究人员淘汰了矩阵乘法的密集型技术，提出了“三元数”方案，即只有负一、零或正一这三个数值。此外，他们还使用一种名为现场可编程门阵列（FPGA）的高度定制电路创建了定制硬件，以最大限度地利用神经网络中的节能功能。在定制硬件上运行时，可以达到与Meta的Llama等顶级模型相同的性能，但神经网络的功耗仅为常规配置的五十分之一。这一神经网络设计还可以用于在人工智能行业常用的标准GPU上运行，测试结果显示，与基于矩阵乘法的神经网络相比，显存占用仅为十分之一。

此次研究的成功对于推动AI技术的发展具有重要意义。一方面，它可以提高计算效率，降低数据中心的能耗；另一方面，这也有助于加快AI技术的应用进程，推动各行各业的智能化发展。未来，随着更多高效能、低耗能的AI解决方案的出现，AI技术将在全球范围内得到更广泛的应用和发展。