从零开始构建大型语言模型：深入研究Dropout

本文记录了作者学习Sebastian Raschka的《从零开始构建大型语言模型》一书中关于Dropout的章节。Dropout是一种正则化技术，通过在训练过程中随机忽略一部分神经元或权重来防止模型过拟合，从而使知识更广泛地分布在模型中。作者详细介绍了Dropout的实现方法，并探讨了在大型语言模型中应用Dropout时的一些细节问题，例如对注意力权重或值向量应用Dropout以及如何重新平衡矩阵。文章还提到了实际应用中Dropout率的选择，以及处理更高阶张量以处理批次数据的问题，为后续学习提供了铺垫。