Webtagr - Technologienummer

Beliebte Tags：

Kosmos Virtualisierung DNS-Sicherheit formale Verifikation Erreichbarkeitsanalyse KI Compilerfehler Makrokonflikt Web-Erweiterung Entwicklungsframework Alle Tags

Ausrichtung von Polynommerkmalen mit der Datenverteilung: Das Problem der Aufmerksamkeitsausrichtung im ML

2025-08-26

Dieser Beitrag untersucht die Ausrichtung von Polynommerkmalen mit der Datenverteilung, um die Leistung des maschinellen Lernmodells zu verbessern. Orthogonale Basen erzeugen informative Merkmale, wenn die Daten gleichmäßig verteilt sind, aber das ist bei realen Daten nicht der Fall. Zwei Ansätze werden vorgestellt: ein Mapping-Trick, der die Daten in eine gleichmäßige Verteilung transformiert, bevor eine orthogonale Basis angewendet wird; und die Multiplikation mit einer sorgfältig ausgewählten Funktion, um die Gewichtsfunktion der orthogonalen Basis so anzupassen, dass sie mit der Datenverteilung übereinstimmt. Der erste Ansatz ist praktischer und mit dem QuantileTransformer von Scikit-Learn erreichbar. Der zweite ist komplexer und erfordert ein tieferes mathematisches Verständnis und Feinabstimmung. Experimente mit dem California Housing Dataset zeigen, dass die nahezu orthogonalen Merkmale des ersten Ansatzes die traditionelle Min-Max-Skalierung bei der linearen Regression übertreffen.

Der Mythos der Polynome hohen Grades in der Regression

2025-04-22

Die weit verbreitete Annahme, dass Polynome hohen Grades im maschinellen Lernen anfällig für Overfitting sind und schwer zu kontrollieren sind, wird in diesem Artikel in Frage gestellt. Der Autor argumentiert, dass das Problem nicht die Polynome hohen Grades selbst sind, sondern die Verwendung ungeeigneter Basisfunktionen, wie der Standardbasis. Experimente, die die Standardbasis, Chebyshev-Basis und Legendre-Basis mit der Bernstein-Basis beim Anpassen verrauschter Daten vergleichen, zeigen, dass die Bernstein-Basis mit ihren Koeffizienten, die die gleichen „Einheiten“ haben und leicht zu regularisieren sind, Overfitting effektiv vermeidet. Sogar Polynome hohen Grades liefern mit der Bernstein-Basis exzellente Anpassungen, wobei nur eine minimale Feinabstimmung der Hyperparameter erforderlich ist.