从零开始实现Llama 3：一个详尽的TensorFlow教程

这个项目是对naklecha/llama3-from-scratch的增强版，它在原项目的基础上进行了全面的改进和优化，旨在帮助大家更轻松地理解和掌握Llama 3模型的实现原理和详细推导过程。项目核心改进包括：内容呈现顺序的重新编排、目录结构的调整、大量详细的代码注释、矩阵维度变化的完整标注、丰富的原理性解释和详细推导、新增KV-Cache推导章节以及中英文双语文档。教程从加载模型文件和配置文件开始，逐步讲解了文本转嵌入、Transformer块构建、注意力机制实现、位置编码、RMS归一化、SwiGLU前馈网络等核心步骤，最终实现了对下一个token的预测，并深入探讨了top-k预测、不同token嵌入的影响以及KV缓存机制的原理和优势。