Dévoiler le lien profond entre l'estimation du maximum de vraisemblance et les fonctions de perte
Cet article explore la relation intrinsèque entre l'estimation du maximum de vraisemblance (EMV) et les fonctions de perte couramment utilisées. En commençant par les fondamentaux de l'EMV, l'auteur explique méticuleusement son lien étroit avec la divergence de KL. L'article utilise ensuite l'erreur quadratique moyenne (EQM) et l'entropie croisée comme exemples, démontrant comment ces fonctions sont naturellement dérivées de l'EMV plutôt que choisies arbitrairement. En supposant des distributions de données (par exemple, gaussienne pour la régression linéaire, Bernoulli pour la régression logistique), maximiser la fonction de vraisemblance via l'EMV conduit directement aux fonctions de perte EQM et entropie croisée. Cela fournit une voie claire pour comprendre les fondements théoriques des fonctions de perte, allant au-delà de la simple intuition.
Lire plus