Transformer²: Los LLMs autoadaptables marcan un hito
Transformer² es un nuevo sistema de aprendizaje automático que ajusta dinámicamente sus pesos para diversas tareas. Inspirado en los mecanismos adaptativos de la naturaleza, como un pulpo cambiando de color o el cerebro reconectándose, permite que los modelos de lenguaje grandes (LLMs) se adapten a nuevas tareas en tiempo real. Usando la Descomposición de Valores Singulares (SVD) y el Aprendizaje por Refuerzo (RL), Transformer² descompone los pesos del modelo en componentes independientes y aprende a combinarlos de forma óptima para diversas tareas, incluyendo matemáticas, codificación, razonamiento y comprensión visual. Los resultados muestran que Transformer² supera los enfoques estáticos tradicionales como LoRA en eficiencia y rendimiento específico de la tarea, requiriendo muchos menos parámetros. Este trabajo allana el camino para la construcción de sistemas de IA de "inteligencia viva" que aprenden y evolucionan continuamente.
Leer más