Titans : Une nouvelle architecture neuronale pour apprendre à mémoriser au moment des tests
Les chercheurs présentent Titans, une nouvelle architecture neuronale qui combine un module de mémoire neuronale et un mécanisme d'attention pour mémoriser efficacement le contexte historique à long terme. Contrairement aux modèles récurrents traditionnels et aux mécanismes d'attention, Titans démontre une efficacité et une précision supérieures dans la gestion des longues séquences, excellant notamment dans les tâches de "recherche d'une aiguille dans une botte de foin". Il surpasse les Transformers et les modèles récurrents linéaires récents sur diverses tâches, notamment la modélisation du langage, le raisonnement de bon sens, la génomique et les séries temporelles, et s'adapte à des fenêtres de contexte supérieures à 2 millions de jetons.