Construyendo un LLM desde cero: Una inmersión profunda en la autoatención

Esta publicación de blog, la octava de una serie que documenta el viaje del autor a través del libro "Construye un Modelo de Lenguaje Grande (desde cero)" de Sebastian Raschka, se centra en la implementación de la autoatención con pesos entrenables. Comienza revisando los pasos involucrados en los LLMs transformadores solo decodificadores de estilo GPT, incluyendo incrustaciones de tokens y de posición, autoatención, normalización de puntuaciones de atención y generación de vectores de contexto. El núcleo de la publicación profundiza en la atención de producto escalar escalada, explicando cómo las matrices de pesos entrenables proyectan incrustaciones de entrada en diferentes espacios (consulta, clave, valor). La multiplicación de matrices se utiliza para una computación eficiente. El autor proporciona una explicación clara y mecanicista del proceso, concluyendo con una vista previa de los temas futuros: autoatención causal y atención multi-cabeza.