一种基于趋势自适应消除和改进LOF的异常检测方法

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:charles8025
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
不平衡数据的异常检测在实际应用中有广泛应用,数据预处理和分类方法作为异常检测的两个主要步骤是异常检测算法的关键组成。本文针对数据异常检测方法开展研究,首先研究信号趋势项消除方法,实现带趋势项信号的预处理,在此基础上研究基于LOF的单分类检测方法,用于解决不平衡数据的异常检测问题。针对趋势项会严重降低信号异常检测准确性的问题,以高通滤波法为基础,提出了基于信号正负区间统计分布曲线的趋势判断准则,进而设计出了高通滤波器截止频率的实时选择方法,实现了信号趋势的自适应消除;分析了方法预设参数对滤波结果的影响,在此基础上对算法进行了改进,使之更适用于实际工程应用。针对异常检测中的不平衡数据问题,提出了基于改进LOF算法的单分类器方法用于异常检测。首先针对传统LOF仅使用欧氏距离实现近邻提取,分类准确率受数据特性影响明显的问题,提出RM-LOF算法,利用Relief F与多距离融合方法实现LOF分类。在此基础上,针对单分类器算法准确率易受训练样本集中的噪声数据影响的问题,将Bagging算法与RM-LOF算法结合,获得集成分类方法。通过上述改进方法降低数据集特征对LOF分类器的影响,提高了改进LOF算法在不同数据集上的分类准确率,提高了算法通用性。上述方法被应用于UCI通用数据集和实际工业对象数据异常检测问题(管道泄漏检测和流化床结块检测)中,实验结果证明了方法的有效性。
其他文献
极化SAR具有全天时、全天候和可穿透植被等特点,同时又具有较高的分辨率,因此在土壤湿度反演方面可以发挥重要作用。但是由于地面信息较为复杂,特别是土壤粗糙度和植被的影响较为严重,因此现有的模型都不能较好的建模土壤湿度与极化SAR数据之间复杂的表征关系,同时极化散射机理与定量化参数之间物理关系也没有得到深入的研究。充分挖掘极化SAR数据现有特征与量化参数之间的物理联系并且将深度学习技术与传统反演模型相
学位
故障监测是轨道交通系统中的一个热门问题,对乘客的乘车安全有着重要意义。而地铁作为城市轨道交通的重要组成部分,为了保障其运行安全,对设备工况进行实时监测是十分必要的。目前列车故障的在线监测手段主要是基于振动信息、温度信息、视频图像信息的设备状态监测。本文借鉴地铁工作人员利用听诊法去识别设备故障的方式,以声音作为研究对象,提出了基于声学特征融合和声源定位的方法实时监测地铁行驶过程中底架设备的工作状态。
学位
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种高分辨率微波成像系统,具有不受光照、云雾影响成像的优势,在地球观测各领域发挥了越来越重要的作用。SAR辐射定标是建立载荷量测数字量化值与对应目标后向散射系数的关系,对SAR定量化应用具有重要意义。目前SAR辐射定标多以人工定标器作为标准参考目标,而其运输、安装、维护困难,难以满足常态化SAR定标需求。自然界广泛存在的稳定
学位
通过对麻昭高速公路顺层岩质边坡现场地质条件的详细调查及勘探,对边坡的岩体结构类型进行划分,研究滑坡的成因机制。滑坡体沿着页岩风化界面滑动,页岩具强度较低,透水性差,灵敏度高,遇水易软化成软土同时强度降低,失水收缩开裂等特性,边坡稳定性受降雨、地震及开挖影响较大,研究表明,边坡目前处于蠕动滑移阶段。在此基础上建立地质结构模型,采用极限平衡法对典型断面进行稳定性分析,基于计算分析,结合保护对象采取合理
期刊
随着机器人技术的迅速发展,机器人已经开始广泛应用在人们生产生活中。足式机器人具有灵活性高、适应性强等特点,广泛应用于野外探索、补给运输、灾害救援等方面。与双足、四足机器人相比,多足机器人腿部自由度更高、重心更加稳定,具有更为出色的运动灵活性和载荷能力。多足机器人已经成为足式机器人领域中的一个研究热点。传统的多足机器人控制方法一般会采用节律控制器,但是节律控制器设计难度较大,需要多足机器人的精准模型
学位
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种具备全天候成像能力的相干微波传感器,可实现大范围高分辨率微波成像。极化SAR数据能够提供全极化模式下的丰富散射信息,是地质构造与目标形态的有效表征形式,在土地覆盖分类方面具有重要研究意义。自1989年以来,卷积神经网络通过卓越的信息处理能力,推动了图像分析技术出现跨越式进展。然而,大量的冗余极化特征、相干斑噪声干扰以及繁
学位
合成孔径雷达(Synthetic Aperture Radar,SAR)具有全天时、全天候成像能力,可以对海洋进行长时间的连续监测,在海洋船只目标检测方面具有显著的优势,近年来备受关注。基于卷积神经网络(Convolutional Neural Networks,CNN)的船只检测方法能够自动提取有效特征从而获得比传统阈值方法更高的精度。然而,小型船只目标一般散射强度较弱且像素数较少,在常规多尺度
学位
中国的高速铁路建设在引进和吸收国外先进技术的基础上,不断实现创新突破,取得了举世瞩目的辉煌成就。不久的将来,随着中国发达的现代化高速铁路网逐步完善,中国高速铁路网将步入全新时代。路基安全是高铁列车安全运行的基本保障,学者研究表明,行进中的高铁列车,实际上可作为一种全新的、可重复的宽频带分立谱“人造震源”,从而为高铁路基高精度探测提供了重要基础,对于保障高铁列车的安全运行具有非常重要的意义。此外,通
学位
随着生物医学检测技术的发展,人们的生命健康安全得到了有效的保障,全民的健康意识显著提升。各种体外诊断设备越来越多地进入家庭,人们可以做自己的医生,随时使用家用式的体外诊断设备为自己诊断疾病。核酸检测技术作为一种检测手段,具有高度的特异性与灵敏性,在传染病、肿瘤疾病、癌症及基因疾病检测方面发挥着重要的作用,近年来受到人们的广泛关注。作为一种核酸检测法,等温扩增技术相比于传统的聚合酶链式反应(Poly
学位
随着电磁技术的应用不断向高频段扩展,对材料反射率、结构散射基本电磁特性的测试需求也随之而来。在Ka以及更低频段上广泛应用的弓形法,也需要向W波段及以上的频段扩展。低频段内弓形法照射控制的思路是通过控制待测样品尺寸,尽量满足远场条件。随着频段升高,远场条件难以满足,并且低频段经典的小口径天线由于波束发散会使环境干扰增大,导致传统照射方式已不再适合在高频段上应用。因此,本文从原理和实现方法的角度探讨适
学位