基于子空间的离群检测算法研究及应用

来源 :太原科技大学 | 被引量 : 0次 | 上传用户:addnh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
离群检测作为数据挖掘的重要研究内容之一,被广泛应用于信用卡欺诈交易、故障检测和医疗诊断等众多领域。为了有效检测高维数据中的离群数据,研究学者们提出了基于子空间的离群检测算法,其中隔离森林(IForest)和基于直方图的离群检测(HBOS)作为两种典型的子空间算法,在生产生活中得到广泛应用,但仍然存在着准确率不高、稳定性较差和效率较低等缺陷。本文从离群特征子空间采样的角度出发,对上述两种算法存在的问题分别进行研究,提出相应的改进策略,并将改进后的算法应用到天体光谱数据的分析中。主要研究成果如下:(1)针对IForest在隔离树构建过程中随机性较大和组合隔离树时效率较低的问题,本文提出了一种基于隔离森林的快速离群检测算法。该算法首先通过启发式方法选择隔离树样本,在建树过程中选取特定的切割点把数据插入到相应的叶子节点,以减少随机选择对算法性能的影响。其次,将若干隔离树组成隔离森林,计算被隔离出的每个叶子节点的离群程度。最后,选取若干个离群程度较大的数据对象作为最终的离群数据。理论分析和实验结果表明,改进算法能够有效提高隔离森林算法的效率。(2)HBOS算法在检测高维海量数据时效率较高,但算法假设各维度相互独立,可能导致检测结果不稳定,对局部离群数据不敏感。针对以上问题,提出了一种改进的直方图算法。该算法首先采用极端梯度提升树搜索数据集中的离群相关子空间,按离群重要程度选取特征来构造离群直方图。其次,对每个样本进行密度估计并计算离群值。最后,将离群值较高的若干数据对象标记为离群数据。实验表明改进算法与HBOS相比准确性和稳定性明显提高。(3)在上述研究的基础上,对LAMOST光谱数据进行离群分析,设计并实现了天体光谱离群检测原型系统,并介绍了系统相关模块和功能,运行结果表明该原型系统为探索离群的、特殊的天体提供了一种新途径。
其他文献
自从乒乓球项目成立以来,中国队在世界乒坛取得的成绩是有目共睹的。直板颗粒胶打法作为中国队独有的打法,在上世纪60年代到90年代为中国队在世界乒坛创造辉煌立下了汗马功劳。但随着欧洲横弧旋球的崛起以及新规则的实施,乒乓球在进入“大球时代”后,直板颗粒胶打法的优势一直在下滑。与全盛时期相比,直板颗粒胶打法下滑幅度大,目前已成为国家队和省队队员中的稀有打法,甚至已经被排挤到竞技乒乓球市场的边缘,但作为乒乓
创新创业教育作为一种高校人才培养模式的新探索,旨在满足经济社会发展和国家发展战略的需要,是为我国建设成为创新型国家而服务的重要举措;作为高等学校人才培养体系中不可或缺的组成部分,为了进一步深化教育教学改革、促进高等教育科学发展、提高人才培养质量,大力推动创新创业教育建设,着力打造创新创业教育链,具有尤为重要的现实意义和长远的战略意义。行业特色型高校作为我国高等教育办学体制的一个重要特色,在高等教育
生态环境损害赔偿诉讼是赔偿权利人针对赔偿义务人因污染环境、破坏生态的行为造成生态环境类公共利益的损害而提起的诉讼。从设立目的角度分析,此类诉讼的本质应当是一种以保护环境利益为目的的诉讼。从实体法的角度出发,其与环境民事公益诉讼的基础应当相同,但不应当适用普通环境侵权诉讼的实体法;从程序法的角度而言,环境民事公益诉讼的大部分程序规则契合于此类诉讼,但其又有自己的独特价值。因此,生态环境损害赔偿诉讼是
当今社会经济发展突飞猛进,人们的物质生活水品日益提高,科技的进步也是人们的日常生活更加便利,但于此同时,科技的进步也给人类带来了不少困扰,环境污染问题就是现在面临的一个主要问题。土地沙漠化、森林急剧减少、大气污染、资源枯竭等,这些问题不仅影响着目前人类的生存和发展,同时也会对子孙后代的生活产生非常严重的影响。减少环境污染,改善生态环境,创造绿色生活将是担负在我们身上的任务,而环境公益诉讼制度则能很
学校道德教育对国家发展和学生个体发展都具有重要意义。道德教育最终的落脚点在学生身上,学生的需求决定了道德教育的发展方向。《道德与法治》课程标准(2016版)指出:道德存在于儿童的生活中,德育离不开儿童的生活;教与学要植根于儿童的生活。所以,要努力实现道德教育生活化,助力儿童健康成长。然而目前学校在道德教育生活化实施的过程中遇到了一些问题,如道德教育内容片面化、道德教育过程形式化等。这些问题严重阻碍
随着信息技术的飞速发展,计算机和互联网走进千家万户,信息产品如雨后春笋般出现,现代人必备的电子产品也逐渐成为了当下学生借助学习的一种工具。利用网络平台进行教学的模式不断被推广,学生自主学习,提高了学习兴趣与效率,教师通过平台对学生进行管理,和学生“面对面”进行交流互动,提升了课堂学生的参与度。现代化教学手段已经成为教育者们的必备技能,它以其独特的功能在教学中发挥着重要的作用,只有先进的教学手段才能
随着临床医学中微创和无创手术的发展,医用内窥镜成为术前检查和治疗最重要的辅助器械和诊治手段之一。为实现活体器官、组织内部细胞级清晰成像这一重要需求,医用内窥镜不断向高分辨率、光纤化以及探头微型化方向发展。当前,医用光纤型内窥镜大多使用由许多单模光纤组成的光纤束传输图像,可分辨像素总数无法超过光纤总数。单根多模光纤成像技术因其可以在一个光纤纤芯半径内同时传输数千种模式,克服了上述单模光纤束成像技术在
随着城市化进程的不断推进,管廊的建设势在必行。管廊作为保证城市正常运转的基础设施,一旦发生火灾将造成十分严重的影响。因此,探究综合管廊火灾行为,摸清火灾情况下管廊内的温度分布和烟气蔓延过程,为城市地下综合管廊火灾的早期预警和快速灭火提供理论支持,具有十分重要的意义。本文使用小尺寸圆形截面管廊作为实验平台,以研究管廊纵向温度衰减、顶棚最大烟气温度和烟气沉降过程为目的,确定了实验方案。实验过程中使用重
随着互联网的高速发展,网络安全逐渐成为公众关注的话题。网络安全也关系到公众的个人隐私和信息安全,因此网络安全相关的文章和资讯是极有价值的。网络安全属于专业性极强的领域,相关的网络资源主要分布在专业网站、论坛以及一些包含各类信息的资讯网站的科技版块,其在网络中的分布较为杂乱,公众无法及时准确地了解近期的网络安全话题。本文针对网络安全领域设计并实现了一个分布式的互联网爬取系统,能够高效地从互联网中爬取
党的十九大报告中明确指出,脱贫攻坚进入决胜阶段,“到2020年我国现行标准下农村贫困人口实现脱贫,贫困县全部摘帽。”黑龙江省S县认真开展精准扶贫工作,已经取得了一定的成