Reproduktion des Deep Double Descent: Die Reise eines Anfängers

Ein Anfänger im Machine Learning am Recurse Center hat sich auf die Reproduktion des Deep Double Descent Phänomens begeben. Von Grund auf neu hat er ein ResNet18 Modell auf dem CIFAR-10 Datensatz trainiert und dabei den Einfluss verschiedener Modellgrößen und Label-Rauschens auf die Modellleistung untersucht. Der Prozess beinhaltete das Überwinden von Herausforderungen wie Anpassungen der Modellarchitektur, die korrekte Anwendung von Label-Rauschen und das Verständnis von Genauigkeitsmetriken. Schließlich hat er das Deep Double Descent Phänomen erfolgreich reproduziert und dabei den Einfluss von Modellgröße und Trainings-Epochen auf die Generalisierungsfähigkeit sowie die signifikante Rolle von Label-Rauschen auf den Double Descent Effekt beobachtet.