Perspectivas sobre la Estructura de las Incrustaciones Neuronales
Este artículo explora la estructura de las incrustaciones (espacios latentes) producidas por redes neuronales profundas. Se resumen varias hipótesis clave: la Hipótesis de la Variedad (los datos de alta dimensión residen en una variedad de baja dimensión); la Organización Jerárquica (las características se organizan jerárquicamente entre las capas); la Hipótesis Lineal (las redes neuronales representan las características como direcciones lineales en su espacio de activación); la Hipótesis de Superposición (las redes neuronales representan más características independientes de las que una capa tiene neuronas); la Hipótesis de Universalidad (los circuitos reaparecen en diferentes modelos para los mismos datos); la Vulnerabilidad Adversarial (pequeños cambios en la entrada causan grandes cambios en la incrustación); y el Colapso Neuronal (después del entrenamiento, las características de la clase se agrupan estrechamente alrededor de sus medias). Estas hipótesis iluminan colectivamente la complejidad y las limitaciones potenciales de las incrustaciones de redes neuronales profundas.