论文部分内容阅读
1 累积剩余熵的定义
Shannon最早定义的熵是:设X是一个离散型随机变量,其概率分布律是,那么Shannon熵为:规定,且为了计算方便取以e为底的对数(以下类同);如果X是连续的随机变量,相应的密度函数是f(x),累积分布函数是F(x),那么Shannon熵(也叫微分熵)的定义为:
。()表示随机变量的信息,熵則是其均值。
在2004年由M. Rao. el at给出了一种新的信息度量—累积剩余熵,其定义是:设X是一个n维的随机实向量,即,那么X的累积剩余熵为:
2 累积剩余熵的性质
累积剩余熵也具有Shannon熵的性质:
(1)是一个非负函数。
简单证明如下:因为,所以是非负连续函数,在的积分是一个非负数,即,若=0当且仅当,。
(2)有最大累积剩余熵。
设X是一个非负随机变量,那么有,其中服从一个指数分布的随机变量,。
(3)单调性:设X,Y是两个非负同分布的随机变量,根据是凸函数,在上是减函数,上是增函数,所以是减函数,不妨令,
则是增函数;
上是增函数,
是减函数。
(4)平移不变性:设,则随机变量X与的累积剩余熵相同。
(5)正齐次性:设,
(6)渐近次可加性:设是n个服从次指数尾部的随机变量,其中是的尾部分布,则当独立同分布时有;若则当独立不同分布时,不妨令,
特别地独立同分布时
=
参考文献:
[1] C. E. Shannon, (1948). A mathematical theory of communication[M]. Bell System Tech.J. 27,379–423, 623–656.
[2] M. Rao, Y.Chen, B.C.Vemuri, and F. Wang. Cumulative residual entropy : a new measure of information[J]. IEEE Trans.Inf.Theory Vol.50,No.6,June 2004:1220-1228
吉林省教育厅“十二五”项目:吉科教合字[2012]第474号
吉林农业科技学院青年基金项目:吉农院合字[2013]第202号
Shannon最早定义的熵是:设X是一个离散型随机变量,其概率分布律是,那么Shannon熵为:规定,且为了计算方便取以e为底的对数(以下类同);如果X是连续的随机变量,相应的密度函数是f(x),累积分布函数是F(x),那么Shannon熵(也叫微分熵)的定义为:
。()表示随机变量的信息,熵則是其均值。
在2004年由M. Rao. el at给出了一种新的信息度量—累积剩余熵,其定义是:设X是一个n维的随机实向量,即,那么X的累积剩余熵为:
2 累积剩余熵的性质
累积剩余熵也具有Shannon熵的性质:
(1)是一个非负函数。
简单证明如下:因为,所以是非负连续函数,在的积分是一个非负数,即,若=0当且仅当,。
(2)有最大累积剩余熵。
设X是一个非负随机变量,那么有,其中服从一个指数分布的随机变量,。
(3)单调性:设X,Y是两个非负同分布的随机变量,根据是凸函数,在上是减函数,上是增函数,所以是减函数,不妨令,
则是增函数;
上是增函数,
是减函数。
(4)平移不变性:设,则随机变量X与的累积剩余熵相同。
(5)正齐次性:设,
(6)渐近次可加性:设是n个服从次指数尾部的随机变量,其中是的尾部分布,则当独立同分布时有;若则当独立不同分布时,不妨令,
特别地独立同分布时
=
参考文献:
[1] C. E. Shannon, (1948). A mathematical theory of communication[M]. Bell System Tech.J. 27,379–423, 623–656.
[2] M. Rao, Y.Chen, B.C.Vemuri, and F. Wang. Cumulative residual entropy : a new measure of information[J]. IEEE Trans.Inf.Theory Vol.50,No.6,June 2004:1220-1228
吉林省教育厅“十二五”项目:吉科教合字[2012]第474号
吉林农业科技学院青年基金项目:吉农院合字[2013]第202号