Cuestionando el Optimismo Representacional: La Hipótesis de la Representación Fragmentada y Enredada

Esta investigación cuestiona la suposición optimista en el aprendizaje profundo de que una mayor escala implica necesariamente un mejor rendimiento y mejores representaciones internas. Al comparar redes evolucionadas a través de un proceso de búsqueda abierto con redes entrenadas mediante SGD convencional en una tarea simple de generación de imágenes, los investigadores encontraron que las redes entrenadas con SGD exhiben 'representaciones fragmentadas y enredadas' (FER), caracterizadas por una actividad neuronal desorganizada que perjudica la generalización, la creatividad y el aprendizaje continuo. Las redes evolucionadas, en contraste, muestran una representación más unificada y factorizada, lo que sugiere que abordar la FER podría ser crucial para avanzar en el aprendizaje de la representación y construir sistemas de IA más robustos.