【摘 要】
:
信息时代产生的大数据既包含正常数据,也包含着很多与数据一般分布模式不一致的异常数据,这些异常数据可能是误差或噪声引起的,也可能就是真实现象的反应,对这部分数据的有效识别和分析具有重要的价值。研究人员已经提出了多种异常检测算法,这些算法各有特点也存在一些问题,如基于距离的算法无法识别出多密度分布的异常,基于图分割的算法无法确定最优割。本文对以上两种算法进行改进,引入图论中团和正则图的概念,将数据转化
论文部分内容阅读
信息时代产生的大数据既包含正常数据,也包含着很多与数据一般分布模式不一致的异常数据,这些异常数据可能是误差或噪声引起的,也可能就是真实现象的反应,对这部分数据的有效识别和分析具有重要的价值。研究人员已经提出了多种异常检测算法,这些算法各有特点也存在一些问题,如基于距离的算法无法识别出多密度分布的异常,基于图分割的算法无法确定最优割。本文对以上两种算法进行改进,引入图论中团和正则图的概念,将数据转化为图的形式,使用顶点表示对象,边表示对象之间的联系,搜索图中的所有团和正则图集合,最后检测出异常顶点,主要研究工作如下:(1)提出了一种基于邻近性和团的异常检测算法。针对传统基于距离的方法没有考虑局部正常对象之间的连接性的问题,采用对数据中存在的团进行搜索的思路,提出了一种基于邻近性(Proximity)和团(Clique)的异常检测算法,简称PCOD算法。算法主要包括两个步骤:首先,根据数据对象之间的邻近性,将数据中各个对象表示为存在边的无向图。再递归搜索图获取所有团集合,对所有的团进行分析并检测出没有抱团的异常点。实验结果表明PCOD算法在精确率方面优于同类异常检测算法。(2)提出一种搜索K-正则图的异常检测算法。针对基于图分割的异常检测算法难以确定最优割,无法检测到隐藏在正常对象周围的局部异常点问题,采用搜索数据中的正则子图,用K-正则图表示数据对象异常性的思想,提出了一种基于正则图特性的异常检测算法,简称KR算法。该算法分为两个阶段:在开始阶段,计算对象之间的距离作为对象之间的相似性,将对象转化为图的形式;在第二阶段,使用正则图的特性描述顶点在整个稀疏图中的异常性,将搜索到的低K-正则图中的顶点作为异常。理论分析和实验结果表明,基于正则图的算法相比传统算法有较好的适用性与检测精度。(3)在上述研究的基础上,设计了一个恒星光谱异常检测原型系统。介绍了光谱分析的基本流程以及预处理方法,系统运行结果表明,该系统可以有效识别光谱流量明显异常的数据。
其他文献
在“绿水青山就是金山银山”的环保新时代,煤层气等非常规能源的开发、利用受到大家的广泛关注。水力压裂技术是油气开采的关键技术,陶粒支撑剂是决定水力压裂成功的重要材料。陶粒支撑剂物理性能将直接影响油气井的开采量及服务年限。查阅相关文献,低密度陶粒支撑剂可以提高裂缝的导流能力,进而提高油气开采量,因此研制超低密度陶粒支撑剂对于油气开采增产具有重要的现实意义。本文针对煤层气井用陶粒支撑剂密度较大的问题,设
3D耗材在生产过程中受到很多因素的影响,张力控制非常重要。张力控制系统的好坏主要取决于其外界抗扰动性能及其系统的控制精度。在耗材的牵引-收卷过程中,如果耗材的张力过大,会产生耗材截面变细甚至会发生断丝的影响。耗材的张力过小,会导致耗材在牵引-收卷过程中发生打滑甚至脱落现象,不利于耗材的卷取。所以控制好张力的大小能使3D打印的产品质量更高。本文以3D耗材生产线为研究对象。首先分析了牵引-收卷系统的结
球磨机是一种广泛用于各类矿山上的重要研磨设备,随着矿山工业逐渐朝降本增效方向的发展,作为重要选矿设备的球磨机越来越向大型化升级。大处理量的高效运作下,对球磨机的运转性能提出了更高要求,大型球磨机在作业中的运行故障时有发生。本文针对φ7.32×12.5m溢流型双驱球磨机工作时回转体出现明显偏摆的现象,对与回转体稳定性有关的球磨机工作参数及回转体的支撑流场进行了数值模拟分析;在综合考虑载荷特性和支撑刚
电力是无法大规模存储的,市场的价格发现功能可以让电力价格的波动不受人为干预影响,真实反应电力供需状态。尤其对新能源发电占比较大的地区而言,电力价格会随着各种天气因素时间因素等大幅度波动,电力调度中心需要根据新能源的波动,对火电水电等可控电源进行相应的调度与控制,以保证发电功率实时平衡。新能源发电要保证优先出纳,火电机组也有最低发电负荷要求。预测电力现货价格就是保证实时性的发电侧和负荷侧动态平衡。为
刀具作为切削加工的执行者,切削加工过程中刀具的实时状态会直接影响零件加工质量、加工精度和加工效率,甚至会引起整个机械加工系统发生严重故障,导致巨大的经济损失。因此,实现对刀具磨损状态的实时判定和剩余寿命预测,可以保证机床产出工件的质量、节省加工成本和人力成本、促进智能加工技术的快速发展。本文将基于多传感器信息融合技术的思想,提出一种可以同时对刀具磨损量和剩余寿命实现实时预测的方法,具体研究内容如下
随着我国土建工程规模越来越大,对于技术的要求变得越来越高,现场周转所需材料投入量越来越大,在工期要求紧张的情况下,使用的车辆种类多、数量大,仅靠人工去调度安排车辆有很多问题。本文对山西某电力公司施工单位的土建工程车辆调度管理情况进行深入调研,结合单位的实际情况进行需求分析,开发设计了土建工程车辆调度管理系统,该系统采用B/S架构,以C#语言作为系统的开发语言,使用Microsoft Visual
在现今信息科学技术高速发展的时代,智能化设备层出不穷,计算机、智能手机等通讯设备不断更新,公共社交APP增加,人们开始注意自己的隐私。人们日常交流的方式是语言,通过它可以相互传递信息,包含大量的隐私信息,特别是国家重大会议中,声音中包含大量的国家秘密。我国的综合国力不断增强,国外一些情报机构为了获取我国的秘密,通过各种各样的方式对我国进行窃密活动,给国家的政治领域、经济领域、国防部署等的安全造成一
镁合金和铝合金都是节能环保的轻质合金材料,镁合金质量更轻但耐蚀性较低,铝合金强度高、耐蚀性能良好,但比镁合金质量密度大。将镁合金铝合金结合到一起进行应用,可以达到更加轻质和耐蚀的效果。因此,本文进行AZ31/1060磁脉冲焊接界面成形机制的数值模拟与试验研究,对促进镁合金/铝合金焊接结构的广泛应用具有重要意义。本文根据戴维南定理建立了磁脉冲焊接工作电流模型,基于ANYS Maxwell电磁场模拟软
随着制造技术的不断发展,许多大型复杂机械装备不断被设计制造出来,在各种旋转类机械装备部件中,轴承是必不可少的部分。轴承一直被称誉为“工业的关节”,作为机械装备的关键部件,因为其发生故障在所有故障中占40%以上,所以及时对轴承进行故障识别是旋转类机械装备运行维修的重要研究内容。因为多数机械装备系统复杂度高、工作时间长,所以对机械装备轴承的监测获取了大规模的原始数据,这对故障诊断的效率产生重要的影响,
互联网和网络技术的最新发展引发了信息积累的快速增长,这也导致了信息过载的问题。在此背景下推荐系统的概念以及多种推荐系统技术相继被提出,推荐系统为用户和平台都带来了便利。推荐系统领域面临着众多难题与挑战,包括现有的大多数推荐算法中数据稀疏以及冷启动问题,从而导致结果不够精确。对于推荐系统的改进方法有很多,本文从协同过滤和深度学习为出发点分别进行研究,主要的创新性有以下:首先,为了缓解单一协同过滤算法