离散随机变量的广义熵估计

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:yejing112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
熵是信息论中的一个重要概念,对它的研究有十分重要的意义。熵有很多种,最常用的是Shannon熵。自Shannon熵被提出后人们也提出了各种各样的广义熵。如Renyi熵和Tsallis熵,这两种熵比Shannon熵更具有普适性。   近年来,对熵进行研究的一个重要方面是根据试验观测结果,选取适当的熵函数,对信源的熵进行估计。本文从Shannon熵的估计出发,研究广义熵的估计。   文章在介绍了熵的背景及Shannon熵估计的相关知识的基础上将熵的估计方法由特殊的Shannon熵推广到一般的广义熵,使其适用范围更广,另外,文章还讨论了广义熵估计的某些简单性质,使其应用起来更加方便。   首先,我们综述了前人的研究成果,即各种不同的Shannon熵的估计方法,并对对应的熵估计式进行分析比较以适应具体情况的需要。   然后,我们从两类最常用的广义熵:Renyi熵和Tsallis熵的表达式中进行分析,定义一类新的广义熵:q熵。它与Renyi熵和Tsallis熵有着紧密的联系——通过对所定义的广义熵进行估计即可达到对Renyi熵和Tsallis熵的估计。   接着,我们利用Shannon熵的估计方法对所定义的广义熵进行一系列类似的估计。在估计中,通过对相应函数进行处理和改进,给出了广义熵的估计式,并进行相关统计分析。特别地,在最小均方误差熵估计式中通过对参数进行相应讨论,得出了该估计的一个重要性质——最值性,并且我们对该性质在理论和试验两方面进行了说明与验证;在更小偏差熵估计式中通过逐步探索,得出了一些合理的结果。
其他文献
多调和函数作为多项式函数的最直接的推广,其理论在偏微分方程,数值计算,小波分析,多复变函数论,弹性理论,雷达成像等领域中有许多重要应用.Al—mansi分解定理是多调和函数理论的核
样条作为计算几何中表示和逼近几何对象的基本工具,在很多工程领域有着重要而广泛的应用.鉴于客观事物的复杂多样性,开展多元样条函数的研究,无论是理论上还是应用上都有着重要
众所周知,许多生物和化学现象都呈现振动现象及扰动以有限速度传播的现象,而类似u(x,t)=u(x-ct)形式的行波解正好能表现这两个性质.并且,反应扩散方程的行波解是指一类特殊的空间
肖邦的钢琴音乐有着浓郁的波兰民族风格,同时在他的作品里有突破传统的创新性,其中包括赋予旧体裁新的生命力以及对钢琴旋律特性的重新定位,使得肖邦的钢琴音乐旋律富有诗意,
由计算机创始人John von Neumann提出的细胞自动机(Cellular Automata,CA)是一种时间、空间和状态都离散的数学模型.从数学角度看,CA是与连续Cantor映射动力学系统相对应的离散
成立于1991年5月的联华超市股份有限公司(以下简称联华超市),是中国第一家具有民族商业烙印的本土化超市,也是国内第一家以连锁经营为概念、在香港挂牌上市的超市公司。经过1
近年来,分形几何领域发展迅速,已经成为一门新兴的数学分支,它越来越多的应用到自然科学的各个领域,备受人们的重视,同时它也是我们国家优先发展的科题之一,然而分形的整体或局部都
素数定理是解析数论中最重要的定理之一,它可以陈述为当x→+∞时,不超过x的素数的个数π(x)渐近于x/logx,即1970年,John Knopfmacher[1]-[8]发展了抽象解析数论并建立了所谓的抽象
图论的研究始于200多年前.关于图论的第一篇论文是1736年Euler发表的,他用图的方法解决了哥尼斯堡(Konigsberg)七桥问题.二十世纪六十年代以来,图论在科学界异军突起,活跃非凡.图
二十世纪二十年代,芬兰数学家R.Nevanlinna引进了亚纯函数的特征函数,并以此创立了Nevanlinna理论,成为二十世纪最伟大的数学成就之一.它不仅奠定了现代亚纯函数理论的基础,并且