EM-LLM: Memoria Episódica Inspirada en Humanos para LLMs de Contexto Infinito
EM-LLM es una nueva arquitectura que mejora significativamente la capacidad de los modelos de lenguaje grandes (LLMs) para manejar contextos extremadamente largos imitando la memoria episódica humana y la cognición de eventos. Sin ajuste fino, EM-LLM organiza secuencias de tokens de entrada en eventos episódicos coherentes y accede a información relevante a través de un mecanismo de recuperación de memoria de dos etapas eficiente. En los benchmarks LongBench e ∞-Bench, EM-LLM supera a los modelos de recuperación de vanguardia, como InfLLM y RAG, incluso superando a los modelos de contexto completo en la mayoría de las tareas. Realiza con éxito la recuperación en 10 millones de tokens, computacionalmente inviable para los modelos de contexto completo. La fuerte correlación entre la segmentación de eventos de EM-LLM y los eventos percibidos por humanos ofrece un nuevo marco computacional para explorar los mecanismos de la memoria humana.
Leer más
