香农熵的另一种构造方法

本文介绍了香农熵公式的另一种推导方法。除了传统的通过满足数学准则或计算编码所需空间的方法外，本文从熵作为计数的对数的概念出发，计算了与给定概率分布一致的样本序列的数量。通过对样本序列计数并在对数单位下进行归一化，可以推导出香农熵公式。这种方法提供了对香农熵公式更直观的理解，并将其与样本序列的计数联系起来。