Los Secretos Sorprendentes Escondidos en la Entropía de una Mezcla
Este artículo profundiza en la relación entre la entropía de una mezcla de funciones de densidad de probabilidad y su factor de interpolación. El autor revela que la entropía, como función de probabilidades, es cóncava, y esta concavidad está directamente relacionada con la información mutua entre las dos distribuciones. Introduciendo una variable de Bernoulli y el concepto de entropía condicional, el artículo explica elegantemente cómo la información mutua cuantifica el cambio en la sorpresa esperada de una predicción, dado el conocimiento del factor de mezcla. Además, introduce un concepto nuevo, 'proclividad', conectándolo a la divergencia KL y a la entropía cruzada. El artículo también discute la divergencia de Jensen-Shannon y la divergencia de Neyman χ² que aparece en expansiones de Taylor de orden superior. En última instancia, concluye que la función de entropía de la mezcla describe completamente la distribución de las razones de verosimilitud entre las dos distribuciones de probabilidad, ofreciendo una nueva perspectiva para comprender la relación entre distribuciones de probabilidad.