Titans: Uma Nova Arquitetura Neural para Aprendizado de Memorização em Tempo de Teste
2025-01-16
Pesquisadores apresentam Titans, uma nova arquitetura neural que combina um módulo de memória neural com um mecanismo de atenção para memorizar efetivamente o contexto histórico de longo prazo. Ao contrário dos modelos recorrentes tradicionais e mecanismos de atenção, Titans demonstra eficiência e precisão superiores no manuseio de sequências longas, especialmente em tarefas de "encontrar uma agulha em um palheiro". Ele supera os Transformers e os modelos recorrentes lineares recentes em várias tarefas, incluindo modelagem de linguagem, raciocínio de senso comum, genômica e séries temporais, e escala para janelas de contexto superiores a 2 milhões de tokens.