基于随机森林的异常点检测算法研究

来源 :福建师范大学 | 被引量 : 0次 | 上传用户:huangwei0541
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘旨在发现数据中隐含知识或发现数据的未知模式,从数据集中找出异常点也是数据挖掘领域中的重要任务。异常点检测作为数据挖掘的一种重要方法,在实际应用中发挥着重要作用,广泛运用于金融反欺诈、设备故障检测、网络入侵、和医疗影像分析中。异常点检测挖掘方法对提高工业生产效率、服务社会生活具有重要意义。现阶段基于集成模型的异常点检测是一个热点研究课题,而随机森林方法具有优良的分类决策性能。本文以识别出异常点为目标,对随机森林模型进行改进,提出基于随机森林模型的异常点检测算法,具体工作包括以下3个方面:1、提出一种基于模糊树节点的随机森林进行异常点检测。首先在构建随机森林的分类决策树过程中,把模糊方法引入到二叉决策树的节点中,在节点中设计关于类别划分的模糊区域,在模糊区域上设计正常与异常隶属度函数。当某样本经过决策树节点中的模糊区域时,进行样本的正常与异常隶属度计算;若该样本的异常隶属度大于正常隶属度,则该样本被判别为异常类;否则,该样本进入决策树的下层树节点,若无下层节点则被判别为正常类。该样本的最终类别由随机森林算法中的投票步骤决定。实验表明,该算法具有较好的异常点检测性能。2、提出一种基于双特征松弛边界的随机森林进行异常点检测。首先,在只使用正常类数据构建随机森林的分类决策树过程中,在二叉决策树的每个节点里依据训练数据集确定两个特征的取值范围(称之为特征值域)及值域的松弛边界,以此双特征值域作为异常点判断的依据;然后进行异常检测工作,当某样本通过决策树节点中的双特征值域时,若没有落入该值域,则该样本被标记为候选异常类;否则,该样本进入决策树的下层树节点继续做特征值域的比较,若无下层节点则被标记为候选正常类;最后,由随机森林算法中的判别机制决定该样本的类别。实验表明,本算法具有较高的异常点检测性能,且算法稳定。3、提出一种部分样本回溯的随机森林方法进行异常点检测。针对每棵决策树是由部分数据训练得到的,其树节点中的双特征值域没有反映超出此值域范围的样本信息(称遗漏信息),故在决策树训练完成时,对每棵决策树使用相应的袋外数据进行叶子节点至根节点的回溯操作,其目的是对树节点中的双特征值域进行修正,补上遗漏信息。该方法是在传统决策树训练完成后加入样本回溯,使得全样本都参与了树的构建,即这样的决策树全面学习了样本信息,反映出数据的完整值域信息。在进行异常检测时,当某样本不满足决策树节点中的双特征值域时,该样本被标记为候选异常点。该方法有效减少了样本被误判的可能性,且取得了优异的检测效果。实验表明,本文提出的部分样本回溯的随机森林算法具有较高的异常点检测性能,且算法稳定。异常点的特点是其关键特征取值与正常样本有显著区别,这也是异常点孤立于正常样本的根本原因,本文将这一特性与决策树这种层次模型相结合,提出基于模糊树节点的随机森林、基于双特征松弛边界的随机森林和基于部分样本回溯的随机森林进行异常点检测,这些模型在决策树的分类过程中即可进行异常点检测,算法简单高效且稳定。
其他文献
读,是语文教学的重要环节,是学生的基本技能之一。教学大纲把阅读能力作为最重要的任务提出来加以强调,其重要性不言而喻。教师们也深知其意,并经常用"读书百遍,其意自见","
随着教学改革的深入和发展,如何提高课堂教学效果,使学生在有限的授课时间内获得更多的知识,如何让学生将所学的知识点理解得更透彻,记得更扎实,如何让学生从被动接受知识变为主动
职业学校德育课是培养高素质劳动者的重要途径之一,要提高德育课课堂教学的实效,就要转变传统的只注重教师讲,忽视学生学的封闭式的教学方法,实行开放性的教学,从教学目标、
从经济学的角度,阐述了边际效用对高校读者的影响。建议各高校图书馆改变原有的传纯服务模式,改变服务对象的单纯性,创建现代化的图书馆。让每一位高校读者克分利用高校图书
随着互联网技术的不断发展,网络安全问题已经影响到我国信息化建设的进一步深化,威胁到国家的信息安全和经济发展。如何防范网络安全所面临的威协是目前急待解决的关键问题。
“燕子去了,有再来的时候;杨柳枯了,有再青的时候;桃花谢了,有再开的时候……”,语文课上,我声情并茂地朗诵着朱自清先生的散文名篇《匆匆》:不知什么时候,外面的雨已越下越密,学生把目
随着新课程改革的不断深入,教师之间的合作与交流显得尤为重要。下面笔者就教师之间的交流谈几点看法。
教学的本质是交往,交往的核心是舟话,对话的精髓是双方在认知和情感上的互动。有了互动,才能使学生的学习方式发生质的转变。这种“对话”教学正是新课程期望于教师努力践行的教
目的:分析延迟断脐与常规断脐对于新生儿黄疸的影响。方法:选取产妇共1008例,根据断脐的时间进行分组,对照组新生儿常规在10 s内断脐,观察组新生儿推迟在120 s后断脐。比较两
随着时代不断更替,信息技术以及传媒的变革发展,人们在不知不觉中接受着来自生活中的各种流行元素。教学源于生活,小学音乐教师要顺应时代潮流发展,就需要转变传统教学模式,