【摘 要】
:
异常点的检测是数据挖掘方向上一个非常重要的研究分支,其主要目的是挖掘出那些行为显著异于其他数据对象的数据。随着物联网技术的兴起,高速、无限且动态的高维数据流在生态
论文部分内容阅读
异常点的检测是数据挖掘方向上一个非常重要的研究分支,其主要目的是挖掘出那些行为显著异于其他数据对象的数据。随着物联网技术的兴起,高速、无限且动态的高维数据流在生态领域产生,生态监测数据的异常检测也至关重要。基于上述情况,本文做了如下研究工作:1)对数据流异常点检测的研究现状做了详尽的调查,并对相关方法进行了总结和分类。对领域内典型的数据流处理模型及数据流异常检测方法的优势和不足进行了分析与比较,并针对数据流异常检测所面临的关键问题提出自己的改进思路。2)现有的一些数据流异常检测方法,由于众所周知的“维度灾难”问题,对于高维数据流的检测效果欠佳。基于角度的方法虽然在高维空间中比距离更加稳定,但是计算复杂度很高,不适合大数据量的检测。针对此问题,本文提出一种基于向量点积密度的快速异常检测算法。算法只对滑动窗口内受影响的数据点进行增量计算,并利用两个优化策略和一条剪枝规则,使检测过程中的距离计算次数有效地减少,从而降低算法在时间及空间上的开销,最终达到提高检测效率的目的。通过理论推导及在仿真数据集和真实数据集上的多组实验分析证明,本文提出的方法是高效的。该部分内容已发表一篇论文在核心期刊。3)设计了一个基于异常检测的生态流数据审核应用系统。系统主要实现了异常数据检测模块、数据审核模块、数据分析模块及辅助管理模块。系统拥有实用的异常检测方法,同时本文提出的基于向量点积密度的数据流快速异常检测算法也应用其中。这些方法既能对异常识别有较高的准确率,又能保证高效率运行。并且该系统是一个可扩展、高通用的系统,它可以同时满足各种类型生态数据实时的异常检测及审核。另外,系统运用聚类分析技术对生态监测站点的相邻关系进行了重新划分,使生态监测数据的异常检测结果更准确。该部分研究内容已申请一项软件著作。综上所述,相比于一些传统的异常点检测方法,从算法的实时性及高维度适用性方面考虑,本文所提出的方法很适合数据数量和维度均呈上升趋势的生态领域的生态监测数据流的异常检测。在生态监测数据的异常检测上具有一定的应用价值。
其他文献
知识图谱(Knowledge Graphs,KGs)具有强大的语义处理和开放互联的能力,已被广泛应用于Web检索、推荐系统、知识问答等领域中。当前,由于信息抽取、知识融合和知识加工等技术
中华人民共和国陆海域辽阔,资源丰富,涵养着各种生灵,守护这片蓝色宝藏依靠于蓬勃发展的科技水平。雷达是海岸线的眼睛,但是雷达在对目标进行探测的同时也承受着许多干扰,本
土壤中有机质的存在形态不同,与土的相互作用也不同,本研究以福州天然工作为研究对象,通过添加不同浓度和成分的溶解性有机质孔隙液(氨基乙酸、富里酸、腐植酸钠)配置成不同的
基于图像的测量由于具有检测精度高、速度快、成本低等优点,而广泛应用于医疗、工业、农业、军事和国防等领域。因此,它也成为计算机视觉领域最热门的研究课题之一。在医院手
国内外对高层建筑斜交网格结构的研究大多建立在斜交节点为刚性连接的理想条件下,但在施工过程中,斜交节点由斜交角度和构件截面形式造成的繁杂施工容易造成斜交节点处的缺陷。实际工程通常采用不同斜交节点连接方式来解决施工困难的问题,从而研究不同斜交节点连接方式对高层建筑斜交网格结构的性能响应至关重要。斜交节点起着将斜柱、环梁连接为整体的重要作用,故本文着重系统性地研究不同斜交节点连接方式对高层建筑斜交网格结
测试用例优先排序技术旨在搜寻最优测试用例执行序列,以尽快实现测试目标,是一种关键的测试用例集优化技术。大量基于搜索的优化算法被用于发现测试用例的最优执行序列,但没
自动化技术和机器人技术的快速发展在给人类生活带来便捷的同时,也带来了较为严重的电磁辐射,不仅会影响产品功能,缩短使用寿命,而且可能引起某些组织病变,从而严重威胁人体
近年来,人工智能成为科技领域炙手可热的话题。以语音为接口的人机交互技术成为人工智能发展的必由之路。麦克风阵列技术作为一种高效抑制噪声的语音增强技术,能够在复杂噪声
城市交通拥堵是网络交通流在特定时间和路段上所表现的一种分布形式,网络交通流又是出行群体多种出行选择行为的集聚结果,故研究出行行为对网络交通流演化的影响是有必要的。本文在分析出行者的出发时间选择行为与路径选择行为的基础上,建立考虑出行者出发时间选择的网络交通流演化模型,从网络交通流的逐日动态演化过程来寻找网络交通流演化规律。从简单网络出发,分析交通流演化的混沌特性,并进一步探索复杂网络的流量演化规律
有机发光二极管(OLED)作为如今极具发展潜力的新一代照明显示技术,因其具有高效率、低功耗、广色域、可柔性制备等特点,已经在固态照明和全彩平板显示领域有许多应用。为进一