数据相关性分析和维数约简方法的研究与应用

来源 :北京工业大学 | 被引量 : 6次 | 上传用户:yujiankaka
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对基因组学、物理学、政治科学、经济学等众多领域日益增长的海量数据,人们越来越多地依赖计算机智能化地从海量数据中获取解决问题所需的有用信息。作为数据智能化分析的两种有效手段,数据相关性检测技术和维数约简技术受到广泛关注。相关性检测方法能够自动地发现数据集中变量间的相关关系;维数约简方法将数据特征从高维降到低维,降维后的特征更能体现数据的本质结构,并且降低了后续数据处理的计算代价。本文对数据相关性分析和维数约简的理论方法和实际应用进行了深入的研究,主要工作概括如下:1.提出了检测多元变量间相关关系的最大信息熵法。对于k元变量集合,该方法首先根据任意两个变量间的最大信息系数值来构造最大信息矩阵R,然后由R的正特征根来计算这k个变量间的最大信息联合熵H_R~k,最后用1-H_R~k来衡量变量间依赖关系的强弱。三维空间曲线上的仿真实验证明了最大信息熵能够检测三元变量间的一维流形依赖;此外,通过全球健康数据集的相关性检测实验,证实了该方法的有效性和可行性。2.提出了直接检测三元变量间一维流形依赖关系的最大全相关系数法。最大全相关系数的基本思想是:如果三元变量间存在某种相关关系,那么在它们的散点图上就能够构造一个特殊的3维网格,使得数据点在该网格上的全相关明显大于0。最大全相关系数就是通过具有最大归一化全相关的网格来定义的,并由此来评估变量依赖关系的强弱。利用动态规划思想,本文设计出了可以快速求解最优划分的3维网格,并以大量仿真数据集和真实数据集上的实验证实了最大全相关系数的通用性、公平性和有效性。3.提出了一种基于相似性传播的维数约简方法该方法基于原始特征间的相似性,利用相似性传播算法将原始特征进行聚类,再对每个类别中的原始特征进行权重组合得到新的特征(抽取特征),以达到维数约简的目的。该方法能够实现数据维数的自动约简,且不需要求解数据协方差矩阵的特征值和特征向量等复杂运算,保证了算法的计算效率。UCI公开数据集上的可视化和分类实验结果显示新方法的性能要优于二次规划特征选择(QPFC)、近邻保存嵌入(NPE)和自组织特征聚类维数约简(SCFC)等维数约简方法。4.提出了一种基于费希尔信息度量的随机近邻嵌入方法该方法将文本的词频向量看作统计流形上的概率密度样本点,利用费希尔信息度量计算样本点间的距离,从信息几何的观点出发,对t分布随机近邻嵌入进行改进,提出了费希尔信息度量随机紧邻嵌入,解决了面向概率密度样本的维数约简问题。20Newsgroups、TDT2和Reuters21578文本数据库上的2维可视化和分类实验证实了该方法能够很好地处理概率密度样本的维数约简问题,同其它方法的对比实验也显示了它的竞争力。5.提出了深度皮尔逊嵌入框架。提出了一种相关性结构保持的参数化维数约简框架,即深度皮尔逊嵌入(DPE)。DPE采用皮尔逊相关系数来衡量高维样本间的相似度矩阵与低维样本间的欧氏距离矩阵中行向量的相关度,并要求它们尽可能地负相关,以保证高维空间中越大相似度的样本对在低维空间有着越小的欧氏距离。MNIST、COIL-20、Extented Yale B和AR等标准数据集上的大量对比实验证实了DPE的有效性和优越性。
其他文献
在山西绛县,提起年过古稀的李高升,很多人对他的故事都耳熟能详。十多年间,为了开发绛县东华山景区,他在山上“安营扎寨”,用自己的汗水浇灌着山上的一草一木,用心血设计着山
<正>近年来,随着互联网技术的迅猛发展,以微课(Microlecture)、慕课(MOOC)等为代表的现代教育技术倍受瞩目。微课即"微型视频网络课程",其短小精悍的特点符合人们的认知规律,
随着新课标实施的不断深入,初中政治课程的教学也有了全新的要求,传统教学模式已经无法满足当前教学需求。因此,如何从学生角度进行教学模式的建构业已成为重要的研究课题,是推动政治课堂教学改革的重中之重。  一、当前初中政治教学现状分析  1.教学思想落后  新课标要求教师的教育思想必须要发生根本性转变,应由应试教育向德智体美劳全面发展理念进行裂变,要特别重视学生创新能力的培养。可是当前依赖课本机械讲授的
所谓的phonics也就是类似于我们汉语拼音的英语的自然拼读法.通过拼音系统与文字拼读的过程,在“字”与“音”之间的关系提供学生一种方法或拼出规则单词,而不需要另一套标音
针对航天传统计划编制协同方法仅面向单项目项目、计划编制与协调过程串行的缺点,提出了多项目计划编制并行协同方法,通过集成计划编制与协同调整过程,构建"决策区"、"协调区
随着新课改的持续推进,现代课堂的教学体系也在不断完善。而小学数学这一门比较注重知识性教学的课程,也在教育发展大背景下逐渐向综合能力教学转变。在课堂中,对学生的思维方式
<正>高中语文是整个高中十分重要的一门课程,它既能用于交际,也是人类文化的重要载体之一。由于经济的发展和社会的进步,高中语文的教学也应紧跟时代步伐,做到与时俱进。在教
<正>流鼻血虽是普通病症,但不同年纪的人流鼻血原因却不尽相同,尤其是老年人,有可能是重疾的征兆,如鼻咽癌或动脉血管破裂。医生诊断鼻出血患者时,大多会询问病人几个问题,如
食品行业作为关乎民生的关键行业,一直是民众关注的焦点。食品行业健康发展与其内部控制有着密切的联系,内部控制有效性越高,越有利于企业良性发展,提升其竞争力。本文通过因
在东北少数民族民间故事之传播和接受所形成的文学场域中,工匠技艺和工匠精神获得了在场化的展示,这种展示包括匠人超凡技艺的夸饰性描述、匠人从业道德及人格素养的教谕性传达