EM-LLM: Mensch-inspirierte episodische Gedächtnis für LLMs mit unendlichem Kontext
EM-LLM ist eine neuartige Architektur, die die Fähigkeit großer Sprachmodelle (LLMs), extrem lange Kontexte zu verarbeiten, deutlich verbessert, indem sie das menschliche episodische Gedächtnis und die Ereigniserkennung nachahmt. Ohne Feinabstimmung organisiert EM-LLM Eingabesequenzen von Token in kohärente episodische Ereignisse und greift über einen effizienten zweistufigen Gedächtnisabrufmechanismus auf relevante Informationen zu. In den Benchmarks LongBench und ∞-Bench übertrifft EM-LLM die besten Retrieval-Modelle wie InfLLM und RAG und übertrifft sogar Modelle mit vollständigem Kontext in den meisten Aufgaben. Es führt erfolgreich Retrieval über 10 Millionen Token durch, was für Modelle mit vollständigem Kontext rechnerisch nicht machbar ist. Die starke Korrelation zwischen der Ereignissegmentierung von EM-LLM und von Menschen wahrgenommenen Ereignissen bietet einen neuartigen rechnerischen Rahmen zur Erforschung menschlicher Gedächtnismechanismen.
Mehr lesen
.jpg)
