大型语言模型的「模型坍塌」：AI自我吞噬的风险
2025-05-17
随着大型语言模型（LLM）的普及，一个名为“模型坍塌”的风险日益受到关注。由于LLM自身生成的文本被用于训练新的模型，导致训练数据偏离真实世界数据，最终可能导致模型输出质量下降，甚至产生无意义内容。研究表明，这种问题并非LLM独有，任何迭代训练的生成模型都可能面临类似风险。虽然数据积累可以延缓这一过程，但会增加计算成本。目前，研究人员正探索通过数据筛选和模型自评估等方法来提高合成数据的质量，以避免模型坍塌，并解决由此带来的数据多样性问题。
AI
模型坍塌