基于特征和实例的海量数据约简方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:taorong19880903
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息和计算机技术的不断发展,出现了大量的海量数据。在对这些海量的数据进行复杂的数据分析时,通常需要耗费大量的时间。虽然目前已经提出了一些通过减少海量数据集中实例的特征数和数据集中的实例数的方法来降低处理海量数据集所消耗的时间和存储海量数据需要的空间,但是这些方法都具有一定的局限性,因此,探索具有一定普适性的减少特征数和实例数的数据约简方法,对提高海量数据处理的效率有着重要的理论意义和现实意义。针对现有的基于实例选择的数据约简方法所存在不足的基础上,结合Hausdorff距离在度量两个数据集相似度方面展示出来的优越性,利用Hausdorff距离作为原始数据集中实例是否被选择的标准,从原始数据集中选取具有“代表”性的实例。同时考虑到Hausdorff距离的计算复杂度较高,借助K-NN (K-Nearest Neighbor)搜索算法将数据集进行均匀切割,在此基础之上,提出了一种基于局部Hausdorff距离的面向实例的数据约简方法。围绕多特征海量数据集的高效约简,从增强目标实例邻近数据的均匀度、减少近邻表示误差及提高降维效果的角度出发,提出了一个基于中心点的K-NN搜索算法,该算法能够保证对某一实例进行近邻搜索时得到的近邻实例最大限度的均匀分布在该实例的周围。为了保证K值的变化符合非均匀数据集的特性,提出了根据数据集局部均匀度的变化动态调整K值的方法,制定了满足非均匀数据集中LLE (Locally Linear Embedding)算法降维需要的K值变化规则。以此为基础,提出了一种基于LLE算法的变K值的数据约简方法。考虑到数据集中实例的变化一般会影响数据集分类的效果和数据集上的统计特征,建立了利用分类方法和空间统计的相关技术对约简方法进行综合评价的方法。为了实现对分类方法效果的度量,在分析了类半径、类间距和类实例数对分类精度影响的基础上,给出了一种综合评价分类精度的计算方法。通过对数据集中实例的频数分布、数据集的分位数和数据集之间的距离三个统计特征的分析,对约简前后数据集之间的相似性进行了评价。同时,基于对Moran’sI参数的作用分析,提出了利用Moran’sI对数据集约简前后的自相关性的变化进行度量,以实现对约简效果的评价。通过对基于特征选择、实例选择的数据约简方法以及约简效果评价方法的研究,取得了若干研究成果,对提高海量数据的处理效率、快速获取有效信息具有积极意义。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
目前高校《机械设计》课程教学存在满堂灌现象,学生疲于背公式、背知识点应付考试,对知识没有真正掌握。因此,笔者提出三种新的教学尝试:把机械设计课程设计糅合到《机械设计》理
随着我国经济的发展,人民的生活水平不断提高,高中生在市场经济中也扮演着越来越重要的消费角色。由于高中生尚未踏入社会,缺乏一定的理财观念,容易受到诸多不良因素的影响,
<正>家,是温馨的港湾,是人之初的第一课堂,也是社会和谐的基石。中国文化历来强调&#39;修身、齐家、治国、平天下&#39;,家庭文化是中华传统文化的重要组成部分。新时期,我们
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
粗糙集理论是一种有效的处理不确定和不精确问题的数学工具,其已经与模糊集、概率论等不确定性理论相结合并广泛应用于数据挖掘、人工智能和模式识别等很多领域。粗糙集的研究
随着模型预测控制技术在石油、化工、造纸、制药等流程工业的迅速发展和广泛应用,企业的安全生产得到了保障,经济效益有了明显提高。由于预测控制的实施需要增加企业投资成本
以湖北民族学院信息与计算科学专业人才培养方案为基础,结合多年计算机图形学课程教学积累,分析了计算机图形学课程的特点及课程教学过程中存在的问题,对计算机图形学课程在信息计算科学专业中的教学内容改革进行了探讨研究。
摘要:本文针对河海大学机电工程学院机械类专业基础课程《工程图学Ⅰ》的考核现状,总结了存在的问题,提出通过设计不同的考核形式,对《工程图学Ⅰ》的考核方法和手段进行改革,并在2014级能源与动力工程2班进行了课程考核改革探索试点。实践表明,该方法能有效提高学生学习兴趣,为后续课程打下良好基础,并在减轻学生课业负担的同时让考试真正体现它所具有的评估反馈功能。  关键词:工程图学Ⅰ;考核;改革;思考  中
羊口蹄疫是口蹄疫病毒引起的一种急性、热性、高度接触性传染病,往往引发动物口腔黏膜、蹄部以及乳房皮肤水疱和溃烂。羊口蹄疫病毒的致病能力强、发病速度快、传播途径广、