论文部分内容阅读
1948年,C. E. Shannon将热力学系统中熵的概念引入到信息论中,标志着现代信息论的诞生。随后,Shannon熵的估计被应用在工程学、生物医药学和生物化学等方面。 学者们为了解决生活中的实际问题,又提出了其他不同形式的广义熵,如Tsallis熵和Renyi熵。在统计分析中,广义熵的应用研究越来越受到学者们的关注。本文主要讨论离散型随机变量的广义熵,将熵的估计由 Shannon熵推广到 Tsallis熵和Renyi熵。在Shannon熵极大似然估计方法的基础上,得到Shannon熵的Bayes估计方法,并将其与极大似然估计方法进行比较。进一步,本文推导出广义熵中具有代表性的Renyi熵和Tsallis熵的Bayes估计方法。 运用 Matlab软件,以概率(0.1,0.4,0.5)产生样本容量为 N的随机数。用每个数的频率代替概率,得到传统熵估计的极大似然估计方法。将每个数出现的相应次数,代入到Bayes估计式中。通过Matlab运算出样本容量为N的Bayes估计值。改变N的大小,经过多次试验,得到一组极大似然估计值与Bayes估计值,并将两种方法进行比较。由误差平方和可以看出 Shannon熵的Bayes估计效果更好一些,然而Tsallis熵的Bayes估计并没有显现出更好的效果。可以考虑改变q的值以及进行大量的随机试验,再将Tsallis熵的Bayes估计方法与极大似然估计方法进行对比。虽然广义熵的Bayes估计方法并不一定是最优的,但从广义熵的应用角度来看,仍具有一定的实际意义。 最后,本文结合次序统计量,进一步讨论了连续型随机变量的Bayes估计方法,推导出连续型随机变量Shannon熵和Renyi熵的Bayes估计量。