Unification des opérations d'apprentissage profond : l'opération à fenêtre généralisée
Cet article présente l'opération à fenêtre généralisée (GWO), un cadre théorique qui unifie les opérations principales de l'apprentissage profond, telles que la multiplication matricielle et la convolution. La GWO décompose ces opérations en trois composantes orthogonales : le chemin (localité opérationnelle), la forme (structure géométrique et symétrie) et le poids (importance des caractéristiques). L'article propose le principe d'alignement structurel, suggérant qu'une généralisation optimale se produit lorsque la configuration de la GWO reflète la structure intrinsèque des données. Ce principe découle du principe du goulot d'étranglement de l'information (IB). Une métrique de complexité opérationnelle basée sur la complexité de Kolmogorov est définie, en faisant valoir que la nature de cette complexité — régularisation adaptative par opposition à la capacité de force brute — détermine la généralisation. La GWO prédit une meilleure généralisation pour les opérations qui s'alignent de manière adaptative sur la structure des données. Le cadre fournit une grammaire pour créer des opérations neuronales et une voie fondée sur des principes allant des propriétés des données à la conception d'architectures généralisables.
Lire plus