Unificando las Operaciones de Aprendizaje Profundo: La Operación con Ventana Generalizada
Este artículo presenta la Operación con Ventana Generalizada (GWO), un marco teórico que unifica las operaciones principales del aprendizaje profundo, como la multiplicación de matrices y la convolución. La GWO descompone estas operaciones en tres componentes ortogonales: Trayectoria (localidad operacional), Forma (estructura geométrica y simetría) y Peso (importancia de las características). El artículo propone el Principio de Alineación Estructural, sugiriendo que la generalización óptima se produce cuando la configuración de la GWO refleja la estructura intrínseca de los datos. Este principio se deriva del principio del Cuello de Botella de Información (IB). Se define una métrica de Complejidad Operacional basada en la complejidad de Kolmogorov, argumentando que la naturaleza de esta complejidad —regularización adaptativa versus capacidad de fuerza bruta— determina la generalización. La GWO predice una generalización superior para las operaciones que se alinean adaptativamente con la estructura de los datos. El marco proporciona una gramática para crear operaciones neuronales y una vía basada en principios desde las propiedades de los datos hasta diseños de arquitecturas generalizables.
Leer más