Questionner l'optimisme représentationnel : l’hypothèse de la représentation fragmentée et intriquée

Cette recherche remet en question l'hypothèse optimiste en apprentissage profond selon laquelle une plus grande échelle implique nécessairement de meilleures performances et de meilleures représentations internes. En comparant des réseaux évolués à travers un processus de recherche ouvert à ceux entraînés par SGD conventionnel sur une tâche simple de génération d'images, les chercheurs ont constaté que les réseaux entraînés par SGD présentent des « représentations fragmentées et intriquées » (FER), caractérisées par une activité neuronale désorganisée qui nuit à la généralisation, à la créativité et à l'apprentissage continu. Les réseaux évolués, en revanche, présentent une représentation plus unifiée et factorisée, ce qui suggère que la résolution du problème FER pourrait être cruciale pour faire progresser l'apprentissage de la représentation et construire des systèmes d'IA plus robustes.