基于分类噪声检测的分类器性能优化及应用

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:wzxgxl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的不断发展,人们的生活越来越信息化,同时也产生了海量的数据。如何高效、合理的从海量数据中提取有效信息成为不可避免的问题,也是数据挖掘技术面临的一大挑战。目前数据挖掘算法依靠高性能计算机以及并行计算等技术可以快速的处理大量数据,但是当固定的算法遇上千变万化的数据时往往会因数据的差异而导致结果的不稳定,进一步影响算法的性能,为解决这一问题,本文针对分类噪声数据提出完全随机森林噪声检测算法,过滤分类噪声数据从而提高分类器分类精度。为了提高分类器性能,人们总是希望通过改进分类算法达到预期效果,但是当数据本身存在大量分类噪声时,再优秀的分类器也会受到噪声数据的影响,做出错误的判断。目前关于分类噪声数据的相关研究比较少,而基于传统的数据预处理方法都是笼统地将离群点、孤立点剔除,没有对分类噪声数据给出明确定义,现有的分类器也很少考虑到分类噪声数据对其性能的影响。本文基于决策树建树过程分析了分类噪声数据的主要特征,并提出了基于完全随机森林的分类噪声数据检测算法。实验表明,本算法对大多数分类器性能有所提高,主要的分类算法包括EkNNs(Exact k-Nearest Neighbor Algorithms)、BP神经网络(BPNN,Back Propagation Neural Networks)、支持向量机(SVM,Support Vector Machine)、k-Means优先搜索树(k-means tree,K-means priority search tree)、逻辑回归(LR,Logistic Regression)、决策树(DT,Decision Tree)。基于完全随机森林的分类噪声数据检测算法包括两个步骤:第一步通过随机选取特征属性的方式建立多棵决策树,这些决策树组成一个森林;第二步遍历每棵决策树,得到分类噪声数据,数据样本是否为噪声数据取决于森林中将其判定为噪声的树的占比,即整个森林以投票方式决定。本算法重点在于单个决策树如何设置参数噪声强度阈值(NI_threshold,Noise Intensity threshold)来判定一个样本是否为噪声数据,现有的参数自适应寻优策略虽然可以达到最终目标,取得最优分类精度,但是时间开销比较大。由于传统k-means聚类算法随机选取初始中心往往使得聚类结果不稳定,本文提出了基于最大密度最远距离的中心点初始化方法,该方法综合考虑簇中心的特征——相互距离较远并且作为自身所在类的中心位置,先选出部分密度较高的样本集作为初始簇中心候选集,然后从候选集中选出相互距离最远的k(k为簇的个数)个样本作为初始中心,通过实验发现该方法可以得到比较稳定的聚类结果,并可以减少聚类过程中的中心点优化次数进而提高聚类效率。
其他文献
儿童美术教育是人才素质的基础教育,它以促进儿童身心全面和谐发展为目的.一方面是为了提高儿童的智力因素,即发展儿童的观察力、记忆力、想象力、创造力和实践能力,这些方面
目的科学化、规范化管理唇腭裂患者的各项随访资料,建立一套内容齐全而直观的数据库,对比观察唇腭裂患者治疗后的近期和远期效果,为进一步提高唇腭裂的治疗效果探寻出新的突
采用Topomer CoMFA方法对21个苯磺酰基亚胺噻唑衍生物进行三维定量构效关系研究,得到了HIV-1非核苷类逆转录酶抑制剂的3D-QSAR模型,其拟合复相关系数r2=0.964,交互验证复相关
随着科学技术的迅速发展,产品价值中的科技含量不断增加,科学技术对经济增长的作用越来越加强。高新技术成果一旦实现了产业化,就会转化为巨大的生产力,带来客观的经济效益。
<正> 我们以中医辨证分型治疗更年期综合征,收到比较好的效果,现报告如下:一、肝肾阴虚型头晕耳鸣,腰膝酸软,精神忧郁,睡眠不安,潮热盗汗,脘腹痞闷,月经周期紊乱,经期缩短,经
马尾松是我国特有、分布面积最广的针叶树种,用途广泛,在经济和生态上均具有重要的价值。该树种具有良好的抗性,尤其以抗瘠薄见长,但至今有关马尾松抗旱机制方面的研究却鲜见
本文提出了一种成本低廉、可操作性高的变电站智能温控系统设计,通过对蓄电池室内温度的监控和判断,实现对站内空调运行状态的智能远程调控,既能实现节能减排,又能对蓄电池室
人力资源管理体系建设是企业人才资源培训管理体系的重要组成部分,包括引进优秀人才进入合理企业和新员工入职培训以及企业人才的科学研究。这些培训管理有利于提高企业员工
2005年5月20日,某养鹅户购进雏鹅2000只,这群鹅已注射抗小鹅瘟血清和鹅副黏病毒一鹅流感二联油乳剂灭活疫苗。雏鹅饲料是自行配制的,其配方(%)为,玉米55.00、豆饼24.00、饲用酵母3.00、
城市供水对保障城市经济社会的发展和人民生活水平的日益提高具有重要作用,随着近年来西安市城市化进程的不断加快对饮用水供应提出了更新更高的要求。通过对西安城市饮用水源