Repräsentationsoptimismus in Frage stellen: Die Hypothese der fragmentierten und verschränkten Repräsentation

Diese Forschung hinterfragt die optimistische Annahme im Deep Learning, dass größere Skalierung zwangsläufig zu besseren Leistungen und besseren internen Repräsentationen führt. Durch den Vergleich von durch einen offenen Suchprozess entwickelten Netzwerken mit solchen, die über konventionelles SGD bei einer einfachen Bildgenerierungsaufgabe trainiert wurden, stellten die Forscher fest, dass SGD-trainierte Netzwerke „fragmentierte und verschränkte Repräsentationen“ (FER) aufweisen, die durch desorganisierte Neuronenaktivität gekennzeichnet sind und die Generalisierung, Kreativität und das kontinuierliche Lernen beeinträchtigen. Im Gegensatz dazu weisen die entwickelten Netzwerke eine einheitlichere und faktorisierte Repräsentation auf, was darauf hindeutet, dass die Bewältigung von FER entscheidend für den Fortschritt des Repräsentationslernens und den Aufbau robusterer KI-Systeme sein könnte.