论文部分内容阅读
熵是信息论中的一个重要概念,对它的研究有十分重要的意义。熵有很多种,最常用的是Shannon熵。自Shannon熵被提出后人们也提出了各种各样的广义熵。如Renyi熵和Tsallis熵,这两种熵比Shannon熵更具有普适性。
近年来,对熵进行研究的一个重要方面是根据试验观测结果,选取适当的熵函数,对信源的熵进行估计。本文从Shannon熵的估计出发,研究广义熵的估计。
文章在介绍了熵的背景及Shannon熵估计的相关知识的基础上将熵的估计方法由特殊的Shannon熵推广到一般的广义熵,使其适用范围更广,另外,文章还讨论了广义熵估计的某些简单性质,使其应用起来更加方便。
首先,我们综述了前人的研究成果,即各种不同的Shannon熵的估计方法,并对对应的熵估计式进行分析比较以适应具体情况的需要。
然后,我们从两类最常用的广义熵:Renyi熵和Tsallis熵的表达式中进行分析,定义一类新的广义熵:q熵。它与Renyi熵和Tsallis熵有着紧密的联系——通过对所定义的广义熵进行估计即可达到对Renyi熵和Tsallis熵的估计。
接着,我们利用Shannon熵的估计方法对所定义的广义熵进行一系列类似的估计。在估计中,通过对相应函数进行处理和改进,给出了广义熵的估计式,并进行相关统计分析。特别地,在最小均方误差熵估计式中通过对参数进行相应讨论,得出了该估计的一个重要性质——最值性,并且我们对该性质在理论和试验两方面进行了说明与验证;在更小偏差熵估计式中通过逐步探索,得出了一些合理的结果。