仅需加法即可构建节能语言模型 (arxiv.org)

这篇论文介绍了一种名为L-Mul的线性复杂度乘法算法，该算法可以使用整数加法运算来逼近浮点数乘法，从而显著降低大型神经网络的计算资源消耗。与8位浮点乘法相比，L-Mul算法在实现更高精度的同时，可以将逐元素浮点张量乘法的能耗降低95%，将点积的能耗降低80%。研究人员在多个文本、视觉和符号任务上对L-Mul算法进行了评估，结果表明该算法在保持高精度的同时，能够显著降低能耗。