Einblicke in die Struktur neuronaler Einbettungen

Dieser Artikel untersucht die Struktur von Einbettungen (latente Räume), die von tiefen neuronalen Netzen erzeugt werden. Mehrere zentrale Hypothesen werden zusammengefasst: die Mannigfaltigkeitshypothese (hochdimensionale Daten liegen in einer niedrigdimensionalen Mannigfaltigkeit); hierarchische Organisation (Merkmale organisieren sich hierarchisch über Schichten hinweg); Linearitätshypothese (neuronale Netze repräsentieren Merkmale als lineare Richtungen in ihrem Aktivierungsraum); Superpositionshypothese (neuronale Netze repräsentieren mehr „unabhängige“ Merkmale als eine Schicht Neuronen hat); Universalitätshypothese (Schaltungen tauchen in verschiedenen Modellen für dieselben Daten wieder auf); adversarielle Anfälligkeit (kleine Änderungen im Eingabebereich können große Verschiebungen in Einbettungen und damit auch in Vorhersagen verursachen); und neuronaler Kollaps (nach ausgiebigem Training gruppieren sich Merkmal von Klassen in der letzten Schicht eng um ihre Mittelwerte). Diese Hypothesen beleuchten zusammen die Komplexität und die potenziellen Grenzen neuronaler Einbettungen.