研究人员用灯泡的能量运行高性能大型语言模型 (news.ucsc.edu)

加州大学圣克鲁兹分校的研究人员开发了一种新的神经网络算法，通过消除矩阵乘法并使用三元数，将大型语言模型的能耗降低了50倍以上。该模型在定制硬件上仅需13瓦的功率即可运行，性能与Meta的Llama等最先进模型相当。这一突破有望降低大型语言模型的成本和碳足迹，并使其能够在智能手机等内存较小的设备上运行。