大型语言模型的规模：一场军备竞赛

本文追溯了大型语言模型（LLM）规模的演变历程。从GPT-2的1.61B参数到Llama-4的2T参数，模型规模呈指数级增长。文中详细列举了各个关键模型的参数量、训练数据量以及架构特点，包括密集型模型和混合专家（MoE）模型。MoE架构的出现，使得训练和使用更大规模的模型成为可能。然而，模型规模的增长也带来了新的挑战，例如数据偏差、模型可解释性等。文章最后探讨了未来LLM发展的方向，并呼吁更多研究关注纯文本续写引擎的开发，而非仅仅追求在基准测试上的高分。