회귀 분석에서 고차 다항식의 신화: 베르누이 기저를 이용한 우아한 해결책
2025-04-22
기계 학습에서 고차 다항식은 과적합되기 쉽고 제어하기 어렵다는 일반적인 통념에 대해 이 글에서는 이의를 제기합니다. 저자는 문제가 고차 다항식 자체가 아니라 표준 기저와 같은 부적절한 기저 함수의 사용에 있다고 주장합니다. 노이즈가 있는 데이터에 대한 적합성 측면에서 표준 기저, 체비셰프 기저, 르장드르 기저와 베르누이 기저를 비교한 실험 결과, 베르누이 기저는 계수가 동일한 '단위'를 가지고 쉽게 정규화될 수 있기 때문에 과적합을 효과적으로 방지하는 것으로 나타났습니다. 고차 다항식이라도 베르누이 기저를 사용하면 우수한 적합성을 얻을 수 있으며, 하이퍼파라미터 조정은 최소한으로 줄일 수 있습니다.