CURLoRA:利用CUR矩阵分解实现稳定的LLM持续微调和灾难性遗忘缓解
2024-07-14
本文介绍了CURLoRA,这是一种利用CUR矩阵分解在低秩适应(LoRA)环境中微调大型语言模型(LLM)的新方法。该方法解决了LLM微调中的两个关键挑战:在持续学习期间减轻灾难性遗忘和减少可训练参数的数量。
63