Titans: Una Nueva Arquitectura Neural para Aprender a Memorizar en el Momento de la Prueba

Los investigadores presentan Titans, una nueva arquitectura neural que combina un módulo de memoria neural con un mecanismo de atención para memorizar eficazmente el contexto histórico a largo plazo. A diferencia de los modelos recurrentes tradicionales y los mecanismos de atención, Titans demuestra una eficiencia y precisión superiores en el manejo de secuencias largas, especialmente en tareas de "encontrar una aguja en un pajar". Supera a los Transformers y a los modelos recurrentes lineales recientes en varias tareas, incluyendo el modelado del lenguaje, el razonamiento de sentido común, la genómica y las series temporales, y escala a ventanas de contexto superiores a 2 millones de tokens.