微软和北航联合发布MoRA：一种高效的大语言模型微调技术

微软和北航的研究人员联合发布了一种名为MoRA的新技术，用于高效地微调大型语言模型 (LLM)。MoRA是一种参数高效的微调(PEFT)技术，解决了其他流行技术（如低秩适应(LoRA)）的一些局限性，特别适用于需要模型获取新知识的任务。与LoRA使用低秩矩阵不同，MoRA使用方形矩阵来更新参数，从而提高了模型学习和记忆新知识的能力。实验证明，MoRA在知识记忆、指令调整和数学推理等任务上均优于LoRA，为企业LLM应用提供了一种高效的微调方案。