Aperçus sur la structure des plongements neuronaux
Cet article explore la structure des plongements (espaces latents) produits par les réseaux neuronaux profonds. Plusieurs hypothèses clés sont résumées : l’hypothèse de la variété (les données de haute dimension résident dans une variété de basse dimension) ; l’organisation hiérarchique (les caractéristiques s’organisent hiérarchiquement entre les couches) ; l’hypothèse linéaire (les réseaux neuronaux représentent les caractéristiques comme des directions linéaires dans leur espace d’activation) ; l’hypothèse de superposition (les réseaux neuronaux représentent plus de caractéristiques indépendantes qu’une couche n’a de neurones) ; l’hypothèse d’universalité (les circuits réapparaissent dans différents modèles pour les mêmes données) ; la vulnérabilité antagoniste (de petits changements d’entrée provoquent de grands changements de plongement) ; et l’effondrement neuronal (après l’entraînement, les caractéristiques de classe se regroupent étroitement autour de leurs moyennes). Ces hypothèses éclairent collectivement la complexité et les limitations potentielles des plongements des réseaux neuronaux profonds.
Lire plus