微分熵
微分熵是消息理论中的一个概念,是从以离散随机变量所计算出的香农熵推广,以连续型随机变量计算所得之熵,微分熵与离散随机变量所计算出之香农熵,皆可代表描述一信息所需码长的下界,然而,微分熵与香农熵仍存在着某些相异的性质。
定义
令为一连续型随机变量,其几率密度函数为,其中的支撑集为。微分熵:
。
与香农熵为模拟,计算香农熵之算式中的通常以2为底,而微分熵为计算方便,常以计算后再转换为的结果。微分熵与香农熵最大的不同点在于可为大于1的数值,此时可能会造成为负值,而香农熵恒不为负。
例如,为均匀分布:
相关计算
性质
平移
随机变量的平移不影响微分熵,因为固定的平移不会增加随机变量的方差。
上界
期望值为0,方差为且值域为之随机变量的微分熵,其上界为常态分布的微分熵。
渐进等分性
渐进等分性
离散随机变量的香农熵中,独立同分布的随机变量串行,在渐进等分性(Asymptotic equipartition property)之下其几率质量函数趋近于。
连续型随机变量之渐进等分性:
典型集
典型集(Typical set)定义如下
,
体积
集合包含于,,其体积(Volume)定义如下:
。
典型集的体积有以下性质:
1.
2.
证明
1.
由,
可得:
2.
当n足够大时,,
因此:
量化
我们可以将几率密度函数量化后,以香农熵来计算微分熵。首先将连续随机变量X以分为数个区间,根据均值定理,满足:
量化后的随机变量:
香农熵为:
意即,当,。
例子:
1.
对X做n比特量化。
上式表示,若我们想得到n比特精确度,则需要n-3个比特来表示。
2.
对X做n比特量化。
上式表示,若我们想得到n比特精确度,需要个比特来表示。
最大熵
常态分布
随机变量,值域为,方差为,为任意分布,为常态分布,几率密度函数分别为。
则
证明:
其中,
指数分布
随机变量,值域为,期望值为,为任意分布,为指数分布,几率密度函数分别为。
则。
证明:
其中,
参考文献
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.