EM-LLM : Mémoire épisodique inspirée de l'humain pour les LLMs à contexte infini
EM-LLM est une nouvelle architecture qui améliore considérablement la capacité des grands modèles de langage (LLM) à gérer des contextes extrêmement longs en imitant la mémoire épisodique humaine et la cognition des événements. Sans réglage fin, EM-LLM organise les séquences de jetons d'entrée en événements épisodiques cohérents et accède aux informations pertinentes via un mécanisme de récupération de mémoire à deux étapes efficace. Dans les benchmarks LongBench et ∞-Bench, EM-LLM surpasse les modèles de récupération de pointe, tels que InfLLM et RAG, surpassant même les modèles à contexte complet dans la plupart des tâches. Il effectue avec succès la récupération sur 10 millions de jetons, ce qui est calculatoirement impossible pour les modèles à contexte complet. La forte corrélation entre la segmentation des événements d'EM-LLM et les événements perçus par les humains offre un nouveau cadre computationnel pour explorer les mécanismes de la mémoire humaine.