Compresión Introspectiva en Tiempo Real: Dando Consciencia a los Transformers
Los grandes modelos de lenguaje (LLM) sufren de dos limitaciones principales: falta de introspección y cognición efímera. Este artículo propone un nuevo método de compresión introspectiva en tiempo real que aborda ambas. Se entrena un modelo "parasitario" ligero para comprimir los estados internos de un transformador, permitiendo el acceso y la reproducción eficientes del funcionamiento interno del modelo. El método comprime los estados del transformador en un espacio latente de baja dimensionalidad, similar a guardar un estado de juego, superando así el obstáculo computacional de almacenar el estado completo. Esto permite nuevas capacidades, como el retroceso del razonamiento, el aprendizaje por refuerzo en trayectorias de pensamiento y el guardado de puntos de control con eficiencia de memoria, llevando en última instancia a sistemas de IA más potentes e interpretables.