Transformer² : les LLMs auto-adaptatifs révolutionnent le domaine
Transformer² est un nouveau système d'apprentissage automatique qui ajuste dynamiquement ses poids pour diverses tâches. Inspiré par les mécanismes adaptatifs de la nature, comme un poulpe changeant de couleur ou le cerveau se reconfigurant, il permet aux grands modèles de langage (LLMs) de s'adapter à de nouvelles tâches en temps réel. Utilisant la décomposition en valeurs singulières (SVD) et l'apprentissage par renforcement (RL), Transformer² décompose les poids du modèle en composants indépendants et apprend à les combiner de manière optimale pour diverses tâches, notamment les mathématiques, le codage, le raisonnement et la compréhension visuelle. Les résultats montrent que Transformer² surpasse les approches statiques traditionnelles comme LoRA en termes d'efficacité et de performances spécifiques à la tâche, nécessitant beaucoup moins de paramètres. Ce travail ouvre la voie à la construction de systèmes d'IA « intelligence vivante » qui apprennent et évoluent continuellement.
Lire plus