Llama 3 desde cero: Un tutorial detallado de TensorFlow

Este proyecto es una versión mejorada de naklecha/llama3-from-scratch, mejorado y optimizado para ayudar a comprender los principios de implementación y el proceso de razonamiento detallado del modelo Llama 3. Las mejoras principales incluyen: reorganización de la presentación del contenido, estructura de directorios ajustada, anotaciones de código detalladas, anotaciones completas de los cambios en las dimensiones de las matrices, explicaciones y derivaciones abundantes de los principios, un capítulo adicional de derivación de KV-Cache y documentación bilingüe (chino e inglés). El tutorial comienza cargando archivos de modelo y archivos de configuración y luego guía a través de la conversión de texto a incrustaciones, la construcción de bloques Transformer, la implementación del mecanismo de atención, la codificación posicional (RoPE), la normalización RMS, la red feed-forward SwiGLU y, finalmente, predice el siguiente token. También explora predicciones top-k, el impacto de diferentes incrustaciones de tokens y los principios y ventajas del mecanismo de caché KV.