EM-LLM: Memória Episódica Inspirada em Humanos para LLMs de Contexto Infinito
O EM-LLM é uma nova arquitetura que aprimora significativamente a capacidade dos modelos de linguagem grandes (LLMs) de lidar com contextos extremamente longos, imitando a memória episódica humana e a cognição de eventos. Sem ajuste fino, o EM-LLM organiza sequências de tokens de entrada em eventos episódicos coerentes e acessa informações relevantes por meio de um mecanismo de recuperação de memória de duas etapas eficiente. Nos benchmarks LongBench e ∞-Bench, o EM-LLM supera os modelos de recuperação de última geração, como InfLLM e RAG, até mesmo superando modelos de contexto completo na maioria das tarefas. Ele realiza com sucesso a recuperação em 10 milhões de tokens, computacionalmente inviável para modelos de contexto completo. A forte correlação entre a segmentação de eventos do EM-LLM e os eventos percebidos por humanos oferece uma nova estrutura computacional para explorar os mecanismos da memória humana.
Leia mais
