الأسرار المدهشة المخفية في إنتروبيا الخليط
تتناول هذه المقالة العلاقة بين إنتروبيا خليط من دوال كثافة الاحتمال وعامل الإستيفاء الخاص به. يكشف الكاتب أن الإنتروبيا، كدالة لاحتمالات، هي دالة مقعرة، وأن هذا التقعر مرتبط بشكل مباشر بالمعلومات المتبادلة بين التوزيعين. من خلال إدخال متغير برنولي ومفهوم الإنتروبيا الشرطية، تشرح المقالة ببراعة كيف تقيس المعلومات المتبادلة التغيير في المفاجأة المتوقعة للتنبؤ، بالنظر إلى معرفة عامل الخليط. بالإضافة إلى ذلك، يتم تقديم مفهوم جديد، وهو 'الميل'، وربطه بتباعد KL والإنتروبيا المتقاطعة. تناقش المقالة أيضًا تباعد Jensen-Shannon وتباعد Neyman χ² الذي يظهر في توسعات Taylor من الرتب الأعلى. في النهاية، تستنتج أن دالة إنتروبيا الخليط تصف تمامًا توزيع نسب الاحتمالية بين توزيعي الاحتمال، مما يوفر منظورًا جديدًا لفهم العلاقة بين توزيعات الاحتمال.