基于聚类分组的加权P值多重假设检验的FDR控制研究

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:wangdianxitong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多重假设检验是假设检验领域的重要分支。随着生命科学等行业的飞速发展,数据开始以海量的形式出现,原有的单个假设检验已经无法满足现实要求,大规模数据的识别需求催生出了多重检验的概念,并由此衍生出一整套对多重假设检验的方法设计、优良性评价度量标准及相关的改良路径,较好的解决了实际问题。多重检验的核心关注点在于控制两类错误的犯错概率。自上世纪八十年代以来,I类错误的控制指标已由控制FWER转为控制FDR,相应的控制手段也以控制FDR的BH方法为主。在Benjamini与Hochberg(1995)提出的BH方法和FDR成为主流方式后,学者们对其进行了诸多改良尝试,得到了一系列改良后的BH方法和FDR衍生指标。在检验时对P值进行加权能体现不同假设的真实倾向性,只要满足一定的权重设置约束条件,加权P值法就既能够将FDR控制在给定水平,也能够提升检验功效。由于多重检验与实际学科中的应用紧密相关,具体学科知识可以提供相当多的先验信息,根据先验信息常可以将假设划分到不同的分组中,分组后进行加权检验亦可提高功效,Hu、Zhao和Zhou(2010)利用先验信息进行分组和P值加权的方法,根据每个组的真实原假设比例来控制FDR,并实现了比经典BH方法更高的检验功效,也证明了加权与分组的有效性。在实际情况中,并非每个多重检验问题都可以得到足够的先验信息,由于研究问题的未知性甚至可能完全没有先验信息。为了避免因为缺乏先验信息无法分组检验而导致检验功效下降,我们考虑采用聚类的方式进行分组。由于对于所研究的多个样本,聚类方法是依据样本之间的相似度,把相似程度比较大的某些样本聚合为一个个类,从而完成分组,因此无需事先给定任何关于样本的信息。采用聚类方式分组可在无先验信息的情况下得到分组。本文主要研究的即为应用聚类方法分组的优化加权多重假设检验问题。我们发现,在经典BH方法的基础上,当无先验信息时,运用聚类方法进行分组并进一步优化权重的BH方法,可有效控制FDR,且较经典BH方法提高了检验功效,该方法具有较好的稳健性。
其他文献
学位
感知场景的3D结构信息是机器人、无人驾驶汽车等人工智能系统执行任务的关键环节。红外测距仪、激光雷达等传感器虽能获取场景中深度信息,但分别存在应用场景受限、硬件成本较高等局限性,从单目相机恢复场景中的3D结构信息是当前的研究热点。本文借助深度学习在场景感知方面的优势,研究基于深度学习的单目图像深度估计算法,具有很强的理论和现实意义。针对当前单目深度估计算法预测的深度图存在轮廓不清晰、边界模糊等问题,
学位
深度信息的获取是计算机视觉领域一项重要的研究内容。随着工业检测、汽车制造、生物医学、逆向工程等领域的快速发展,三维深度获取已经成为计算机视觉领域亟待解决的关键问题。目前,基于立体视觉系统所获取的深度信息通常在大视差和低纹理的环境中存在误匹配和深度信息不连续等问题,从而影响三维重建效果。针对这些问题本文开展了三维深度信息获取关键技术的研究与实现,主要研究内容及关键技术包括:(1)针对传统立体匹配方法
学位
学位
随着互联网的普及,以自媒体及社交网络为来源的新闻消息日益增多,但主流的媒体、报道仍是我们得知较为官方可信的消息的重要途径,许多经济热点事件都是通过这些报道为公众所知晓的。同时,主流的经济媒体报道较为正式,聚焦有社会历史意义的时事,有一定的记录意义,是当时社会主要经济事件的一个缩影,反过来也影响了公众对于社会乃至世界经济的判断和预估。本文选取《每日经济新闻》这样一个国内顶级的权威经济报刊,由于版面限
学位
学位
学位
学位
学位
弹幕是一种非对面交流,也是一种自然对话的形式。本研究以汉语和日语各自喜欢怎样的识解方式为课题,以在中日两国大热的动漫《鬼灭之刃》第一集的弹幕为研究对象,考察了中日两种语言的识解方式的倾向。本研究在中国代表性的弹幕视频网站Bilibili和日本的Niconico上收集了弹幕。将收集到的弹幕数据根据观众的“心理位置”分为“置身于动画世界的发言”、“围绕动画的发言”以及“脱离动画世界的关于现实世界的发言
学位