AI模型蒸馏：小模型也能挑战大模型？
2025-07-24
DeepSeek公司今年早些时候发布的R1聊天机器人引发关注，它以低廉的成本和算力匹敌巨头公司产品。这引发了对DeepSeek是否未经授权使用OpenAI的o1模型进行知识蒸馏的质疑。然而，知识蒸馏并非新技术，它是一种常用的AI模型优化方法，自2015年Google提出以来，已被广泛应用于提升模型效率，降低运行成本。通过将大型“教师”模型的知识“蒸馏”到较小的“学生”模型中，可以显著降低模型规模和运行成本，而性能损失极小。这一技术已广泛应用于BERT等大型语言模型的优化，并持续在各个领域展现出巨大的潜力。