你的大型语言模型真的会遗忘吗？一种简单的方法来恢复被遗忘的知识
2024-11-04
大型语言模型（LLM）虽然功能强大，但也可能学习到不良内容。机器遗忘技术可以移除这些内容，但本文指出，现有的遗忘方法可能只是隐藏了知识，而非真正遗忘。研究发现，对经过遗忘处理的模型应用量化技术可以恢复“被遗忘”的信息，例如4比特量化后，可以恢复高达83%的遗忘知识。文章对此现象进行了理论解释，并提出了一种抗量化遗忘策略。
19
未分类
机器遗忘