Titans: Eine vom menschlichen Gehirn inspirierte KI-Architektur meistert die Modellierung langer Sequenzen
Forscher von Google präsentieren Titans, eine bahnbrechende KI-Architektur, die vom menschlichen Gedächtnissystem inspiriert ist. Sie adressiert die Speicherbeschränkungen und Skalierungsprobleme bestehender Deep-Learning-Modelle bei der Verarbeitung langer Sequenzen. Titans kombiniert Aufmerksamkeitsmechanismen mit einem neuronalen Langzeitgedächtnismodul. Dies ermöglicht die effiziente Verarbeitung und Speicherung historischer Daten und zeichnet sich in Aufgaben wie Sprachmodellierung, Genomik und Zeitreihenvorhersage aus. Darüber hinaus ermöglicht die Testzeitlernfähigkeit dynamische Gedächtnisaktualisierungen basierend auf Eingabedaten, wodurch die Generalisierung und Anpassungsfähigkeit verbessert werden. Experimente zeigen, dass Titans bestehende Top-Modelle bei verschiedenen Aufgaben mit langen Sequenzen deutlich übertrifft und neue Wege für KI-Fortschritte eröffnet.