回帰における高次多項式の神話：バーンシュタイン基底による優雅な解決策
2025-04-22
機械学習において、高次多項式は過学習を起こしやすく、制御が難しいという一般的な認識に、この記事は異議を唱えます。著者は、問題は高次多項式自体ではなく、標準基底など、不適切な基底関数の使用にあると主張します。ノイズの多いデータへの適合において、標準基底、チェビシェフ基底、ルジャンドル基底とバーンシュタイン基底を比較した実験により、バーンシュタイン基底は、その係数が同じ「単位」を持ち、容易に正則化できるため、過学習を効果的に回避することが示されました。高次多項式であっても、バーンシュタイン基底を使用すれば優れた適合が得られ、ハイパーパラメータの調整は最小限で済みます。