Titans: Uma Nova Arquitetura Neural para Aprendizado de Memorização em Tempo de Teste

Pesquisadores apresentam Titans, uma nova arquitetura neural que combina um módulo de memória neural com um mecanismo de atenção para memorizar efetivamente o contexto histórico de longo prazo. Ao contrário dos modelos recorrentes tradicionais e mecanismos de atenção, Titans demonstra eficiência e precisão superiores no manuseio de sequências longas, especialmente em tarefas de "encontrar uma agulha em um palheiro". Ele supera os Transformers e os modelos recorrentes lineares recentes em várias tarefas, incluindo modelagem de linguagem, raciocínio de senso comum, genômica e séries temporais, e escala para janelas de contexto superiores a 2 milhões de tokens.