基于实时数据的动态异常检测方法研究

被引量 : 9次 | 上传用户:wangsong1st
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实时数据异常检测是数据挖掘技术下异常分析的一个主要课题,高效、准确的实时数据异常检测对于保障工业生产安全、推进医疗技术发展、防止网络入侵、实现数据预测等有着重要的意义。当实时数据量较小、数据维度较低时,应用传统的异常检测技术就可以实现有效的实时数据异常检测。然而,随着信息化的加速,实时数据的数据量越来越大,实时数据的维度不确定性越来越强。如果应用传统的异常检测技术实现实时数据异常检测,那么算法的计算复杂度太高使得算法的检测效率低下,同时由于传统异常检测算法泛性较强、针对性较弱等特点导致算法的异常判别和异常分类精度不高。面对现有实时数据的数据量大、属性不确定性强的特点,如何实现高效准确的实时数据异常检测是异常分析技术所面临的一个严峻的挑战。为了解决这一问题,本文针对实时数据的特点做了如下工作:1)通过分析传统异常检测方法模型,结合现有实时数据的特点,本文提出一种针对实时数据的异常检测模型。相比传统的异常检测模型,该模型添加了数据过滤模块和系数向量模块:应用数据过滤模块可以大大减少待检测实时数据的数据量;应用系数向量模块可以提高实时数据异常判别和实时数据异常分类的精度。2)在数据过滤模块中,本文借鉴Sky-Line空间查询算法提出了基于边界集的数据过滤算法(Boundary-Set Filtering algorithm,BSF)。该算法通过定义统治集和边界集可以有效的实现数据过滤。异常检测过程旨在发现数据集中那些可能或已发生异常的数据,这些数据的数据量相对于初始数据集的数据量而言是很小的。基于这一特点本文把初始数据集中那些显然正常的数据样本定义为被统治样本,把初始数据集中不属于被统治样本的样本组成的集合定义为边界集。BSF算法就是指依照自定义的规则从初始数据集中提取边界集进而实现数据过滤的过程。3)在系数向量模块中,本文基于系数向量和决策树理论提出了基于系数向量的异常判别方法和Sign异常分类算法。在正交空间下,样本的系数向量可以确定样本在空间中的相对位置,所以基于系数向量应用样本对应向量的系数可以准确的判别实时数据异常;决策树理论是一种高效的分类技术,其核心在于条件的定义,Sign分类算法以样本对应向量的系数符号为决策条件能够实现高精度的异常分类。4)基于以上提出的模型和方法,本文提出基于系数向量的动态实时数据异常检测方法,并应用UCI数据集中的shuttle数据和TEP过程数据完成算法的仿真实验,实验对比了基于PCA的异常检测方法和基于KPCA的异常检测方法。实验结果表明基于BSF的实时数据动态异常检测方法具有高效性和准确性。
其他文献
目的探讨脑卒中高危个体筛查与干预管理的效果。方法 2013年5月-2014年3月从海岛洞头不同人群中筛查脑卒中高危个体1 135例。其中1 035例实施基础干预方案,另100例随机分为两
“跆拳道不仅只有竞技”,中国跆拳道协会秘书长赵磊曾如此表示。为将跆拳道推进奥运会,世跆联将跆拳道中的对抗部分进行了改良和统一,但这并不代表跆拳道只剩竞技部分,竞技只
<正> 目前,北京怡华网络数据方案演示中心正式对外运营。该演示中心汇集了40多家国内外知名厂商如思科、IBM、微软、联想等涉及软件、设备、综合布线等产品的解决方案,为用户
期刊
近十几年来,居民住房价格快速上涨和房地产市场的暴利现象,成为人们持续热议的话题,加上地方政府普遍存在的“土地财政”问题,客观上又成为了房价高涨、滋生腐败的推手。这不
课堂提问是课堂教学普遍运用的一种教学形式。数学课堂提问是教师引导学生理解数学知识的有效手段,是沟通教学信息的纽带,是教学调控的依据。有效的数学课堂提问可以开启学生
目的通过对两年来的住院患者HBsAg,抗-HCV,抗-HIV,梅毒等相关传染病病原标志的检测,了解住院患者传染病的感染情况,从而探讨患者治疗期间传染病的检测对预防和控制院内感染等
被称为“微博政务元年”的2011年悄然而过,中国的政务微博随之而来在各地各部门都开花结果。安徽省政务微博在经历了两年的适应期,逐渐找到了自身的价值,也在大大小小的突发
以色列至迟在1958年前即已启动其核计划,大约在1968年前后已事实上具备核能力。鉴于美国政府长期宣称防止核扩散是其对外政策的一个重要目标,它当时究竟如何看待和处理以色列
我国经济飞速发展的同时也带来了人口老龄化和国民医疗保健等问题,人均用药量和用药水平的大幅增加,给我国制药行业造成了巨大压力,并且据中商情报网2013年2月8日发布的数据
随着国家毫不动摇地鼓励、支持、引导非公有制经济发展,保证各种所有制经济依法平等使用生产要素、公平参与市场竞争,中国民营经济取得了显著的成就,不仅对我国的经济增长,而