可扩展的无矩阵乘法语言建模 (arxiv.org)

这篇论文介绍了一种名为“可扩展的无矩阵乘法语言建模”的新方法，旨在解决大型语言模型 (LLM) 中矩阵乘法 (MatMul) 运算带来的计算成本问题。研究表明，即使在数十亿参数规模下，无矩阵乘法模型也能在性能上与最先进的 Transformer 模型相媲美，并且需要的推理内存更少。论文还探讨了该模型的缩放规律、GPU 高效实现以及在 FPGA 上的硬件实现，证明了其在效率和性能方面的优势。