Titans: Una arquitectura de IA inspirada en el cerebro humano que conquista el modelado de secuencias largas
Investigadores de Google presentan Titans, una arquitectura de IA innovadora inspirada en el sistema de memoria del cerebro humano. Abordando las limitaciones de memoria y los desafíos de escalabilidad de los modelos de aprendizaje profundo existentes en el procesamiento de secuencias largas, Titans combinan mecanismos de atención con un módulo de memoria a largo plazo neuronal. Esto permite el procesamiento y la memorización eficientes de datos históricos, con excelencia en tareas como el modelado de lenguaje, la genómica y la predicción de series temporales. Además, su capacidad de aprendizaje en tiempo de prueba permite actualizaciones dinámicas de memoria basadas en los datos de entrada, mejorando la generalización y la adaptabilidad. Los experimentos muestran que Titans superan significativamente a los modelos de última generación en varias tareas de secuencias largas, abriendo nuevas vías para los avances en IA.