论文部分内容阅读
1 累积剩余熵的定义
Shannon最早定义的熵是：设X是一个离散型随机变量，其概率分布律是，那么Shannon熵为：规定，且为了计算方便取以e为底的对数（以下类同）；如果X是连续的随机变量，相应的密度函数是f（x），累积分布函数是F（x），那么Shannon熵（也叫微分熵）的定义为：
。（）表示随机变量的信息，熵則是其均值。
在2004年由M. Rao. el at给出了一种新的信息度量—累积剩余熵，其定义是：设X是一个n维的随机实向量，即，那么X的累积剩余熵为：
2 累积剩余熵的性质
累积剩余熵也具有Shannon熵的性质：
（1）是一个非负函数。
简单证明如下：因为，所以是非负连续函数，在的积分是一个非负数，即，若=0当且仅当，。
（2）有最大累积剩余熵。
设X是一个非负随机变量，那么有，其中服从一个指数分布的随机变量，。
（3）单调性：设X，Y是两个非负同分布的随机变量，根据是凸函数，在上是减函数，上是增函数，所以是减函数，不妨令，
则是增函数；
上是增函数，
是减函数。
（4）平移不变性：设，则随机变量X与的累积剩余熵相同。
（5）正齐次性：设，
（6）渐近次可加性：设是n个服从次指数尾部的随机变量，其中是的尾部分布，则当独立同分布时有；若则当独立不同分布时，不妨令，
特别地独立同分布时
=
参考文献：
[1] C. E. Shannon， （1948）. A mathematical theory of communication[M]. Bell System Tech.J. 27，379–423， 623–656.
[2] M. Rao， Y.Chen， B.C.Vemuri， and F. Wang. Cumulative residual entropy ： a new measure of information[J]. IEEE Trans.Inf.Theory Vol.50，No.6，June 2004：1220-1228
吉林省教育厅“十二五”项目：吉科教合字[2012]第474号
吉林农业科技学院青年基金项目：吉农院合字[2013]第202号
Shannon最早定义的熵是：设X是一个离散型随机变量，其概率分布律是，那么Shannon熵为：规定，且为了计算方便取以e为底的对数（以下类同）；如果X是连续的随机变量，相应的密度函数是f（x），累积分布函数是F（x），那么Shannon熵（也叫微分熵）的定义为：
。（）表示随机变量的信息，熵則是其均值。
在2004年由M. Rao. el at给出了一种新的信息度量—累积剩余熵，其定义是：设X是一个n维的随机实向量，即，那么X的累积剩余熵为：
2 累积剩余熵的性质
累积剩余熵也具有Shannon熵的性质：
（1）是一个非负函数。
简单证明如下：因为，所以是非负连续函数，在的积分是一个非负数，即，若=0当且仅当，。
（2）有最大累积剩余熵。
设X是一个非负随机变量，那么有，其中服从一个指数分布的随机变量，。
（3）单调性：设X，Y是两个非负同分布的随机变量，根据是凸函数，在上是减函数，上是增函数，所以是减函数，不妨令，
则是增函数；
上是增函数，
是减函数。
（4）平移不变性：设，则随机变量X与的累积剩余熵相同。
（5）正齐次性：设，
（6）渐近次可加性：设是n个服从次指数尾部的随机变量，其中是的尾部分布，则当独立同分布时有；若则当独立不同分布时，不妨令，
特别地独立同分布时
=
参考文献：
[1] C. E. Shannon， （1948）. A mathematical theory of communication[M]. Bell System Tech.J. 27，379–423， 623–656.
[2] M. Rao， Y.Chen， B.C.Vemuri， and F. Wang. Cumulative residual entropy ： a new measure of information[J]. IEEE Trans.Inf.Theory Vol.50，No.6，June 2004：1220-1228
吉林省教育厅“十二五”项目：吉科教合字[2012]第474号
吉林农业科技学院青年基金项目：吉农院合字[2013]第202号