Titans: Una Nueva Arquitectura Neural para Aprender a Memorizar en el Momento de la Prueba
2025-01-16
Los investigadores presentan Titans, una nueva arquitectura neural que combina un módulo de memoria neural con un mecanismo de atención para memorizar eficazmente el contexto histórico a largo plazo. A diferencia de los modelos recurrentes tradicionales y los mecanismos de atención, Titans demuestra una eficiencia y precisión superiores en el manejo de secuencias largas, especialmente en tareas de "encontrar una aguja en un pajar". Supera a los Transformers y a los modelos recurrentes lineales recientes en varias tareas, incluyendo el modelado del lenguaje, el razonamiento de sentido común, la genómica y las series temporales, y escala a ventanas de contexto superiores a 2 millones de tokens.