최대우도 추정과 손실 함수 간의 깊은 연관성 밝히기
2024-12-15
이 글에서는 최대우도 추정(MLE)과 일반적으로 사용되는 손실 함수 간의 본질적인 관계를 탐구합니다. MLE의 기본 개념부터 시작하여 저자는 KL 다이버전스와의 밀접한 관계를 자세히 설명합니다. 그리고 평균 제곱 오차(MSE)와 교차 엔트로피를 예로 들어, 이러한 함수들이 어떻게 임의적으로 선택되는 것이 아니라 MLE에서 자연스럽게 도출되는지를 보여줍니다. 데이터 분포(예: 선형 회귀의 가우시안 분포, 로지스틱 회귀의 베르누이 분포)를 가정함으로써 MLE를 통한 우도 함수의 최대화는 MSE와 교차 엔트로피 손실 함수로 직접 연결됩니다. 이는 손실 함수의 이론적 기반을 이해하는 명확한 경로를 제공하며, 단순한 직관을 넘어섭니다.
더 보기