面向流数据的多离群点检测

来源 :沈阳航空航天大学 | 被引量 : 0次 | 上传用户:yangtianmei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
离群点检测问题作为数据挖掘领域中的一个重要研究,在学术界和应用领域都得到广泛的关注。随着现代社会的发展,工业,互联网,制造行业等领域产生了大量的数据,人们在关注数据整体趋势的同时,也开始越来越关注那些表现与数据集中其他数据存在明显不同的异常值,因为这些数据点往往蕴含着更加有用的信息。为了从这些数据中发掘到更有价值的信息,许多应用都依赖于数据流上的离群点检测技术。随着有关离群点检测的需求增多,用户不再满足单一的离群点检测,想要从数据中找到更多有价值的信息,从而产生许多离群点的查询任务。然而,现有的离群点检测算法大多是面向单查询的检测,不能解决用户需求。因此本文对面向流数据的多离群点检测算法进行研究,并提出两种解决算法来解决这方面的问题。首先,针对流数据上的多离群点检测问题,本文提出一种基于skyline分组的多离群点检测算法,MSQD(Multiple Query of Outlier Detection based Skyline)。该算法从大量离群点查询参数找到一组轮廓参数(skyline参数)。若skyline参数个数较少,算法基于这组参数支持多离群点检测。否则,MSQD根据这组轮廓参数利用动态规划算法生成少量虚拟参数,通过支持这组虚拟参数的离群点检测,支持多离群点检测,降低查询规模对算法性能的影响。以此为基础,MSQD构建索引HT-Grid支持流数据管理。它利用滑动窗口的时间特性对窗口进行划分,根据划分结果执行范围查询,减少不必要对象的访问。其次,为了满足用户多元化的需求,本文研究了基于变长窗口的多离群点检测问题,并提出查询处理算法VMOG(Multiple Query of Outlier Detection based vary Greedy)。该算法首先从大量离群点查询参数找到一组轮廓参数(skyline参数)。以此为基础,VMOG利用贪心算法对这组轮廓参数进行分组,根据分组结果构造虚拟查询,从而达到利用少量查询参数支持大规模离群点查询的目的。最后,VMOG同样利用数据流的特性对分组内的查询任务进行搜索,提高查询效率。最后,本文使用两个真实数据集和3个合成数据集分别对MSQD算法和VMOG算法进行实验验证,实验结果证明了本文所提算法的有效性和高效性。
其他文献
真空辅助树脂灌注成型(VARI)工艺适合制造大尺寸、复杂形状的复合材料结构。为了保证复合材料产品质量,需要对制造过程中树脂的充模和固化信息进行精确有效的实时在线监测。鉴于碳/氮化物MXene和碳纳米管(CNTs)具有优异的导电性和良好的树脂相容性。本文采用逐层自组装工艺制备了一种高灵活性和灵敏度的柔性MXene/CNT薄膜传感器,利用扫描电镜对MXene/CNT薄膜的原始微观形貌进行表征,并对其传
学位
随着支持GPS智能设备、基于位置服务的发展,电子地图所支持的查询类型逐渐增多,从传统的点到点的最短路径导航、到查找距离最近的兴趣点(Point of Interest,POI),再到途经单个或多个目标点导航路线的路径规划,兴趣点路径规划在现实生活中有着重要的研究意义。本文的研究目的是为了解决更加复杂的基于多关键词覆盖的最优路径查询问题(Optimal Route with Collective S
学位
林业资源是自然资源的重要组成部分,保护林业资源对生态环境的平衡来说至关重要。通过分析当前林业资源保护和森林防火管理中存在的问题,提出具体管理措施,能够有效提高我国林业资源保护效果,使林业资源价值最大化,避免因为管理疏忽造成的林业资源浪费、森林失火等问题,保障我国林业持续稳定发展。
期刊
铝锂合金具有高比强度、高比刚度等优异的性能,可用于航空航天领域的结构材料。稀土Ce盐化学转化绿色环保、工艺简单、耐蚀性较好,在常规铝合金上已有少量研究,但在铝锂合金表面研究较少。本论文选择2198铝锂合金作为研究对象,采用化学浸泡法,分别在加入H2O2作为氧化剂的Ce Cl3溶液和Ce(NO3)3溶液中进行不同时间的化学转化制备铈基化学转化膜。主要研究了2198铝锂合金表面铈基转化膜的生长过程及成
学位
铝锂合金因其优异的力学性能及较低的密度而被广泛用于航空航天等高科技领域。作为一种表面处理技术,微弧氧化(MAO)技术可以显著提高铝合金的表面性能而得到普遍应用。但铝合金中Li的加入对微弧氧化膜的组织与性能的影响机制以及氧化工艺参数(Na2Si O3浓度)对氧化膜生长规律影响的研究和报道并不充分。因此本文利用微弧氧化技术,在Al-0.38%Li合金、Al-1.1%Li合金和Al-1.53%Li合金表
学位
本文在多主元富NiCo(Ni+Co≥50 at.%)体系中按层错能的高低设计了三种的多主元L12有序强化型高熵合金作为研究对象。通过不同温度下的拉伸试验、光学显微镜(OM)、扫描电镜(SEM)、透射电镜(TEM)、X射线衍射(X-Ray)和三维原子探针层析(3D-APT)等手段的系统地观察、分析了室温至高温下的变形行为以及微观机制,重点针对中温脆性问题开展研究。主要结论如下:(1)层错能较低的五主
学位
鉴于铝/铜双金属层状复合板在工程领域的重要应用价值及其在焊接过程中存在的问题,本文选用铜复层厚度较薄的两种铝/铜双金属层状复合薄板作为研究对象,探索搅拌摩擦焊接(FSW)过程对于接头成形、组织以及性能的影响。同时,为了降低搅拌工具对于铜复层的不利影响,提出采用在待焊位置上添加补偿板的方式,来降低复层在FSW中发生稀释破坏作用的可行性。对于铜复层厚度占比为0.23的铝/铜双金属层状复合板,通过铜复层
学位
机器人抓取是智能机器人的基础功能,也是机器人研究领域的重要课题,并伴随着许多挑战。抓取检测是机器人能完成抓取任务的首要前提,本文的研究聚焦于构建新的神经网络模型,提高机器人抓取检测的准确率,具体工作如下:首先,对此领域的相关研究做了分析和整理,描述了机器人抓取检测系统的整体设计和实现过程。在计算位姿方面,改进了传统的五维矩形抓取表示法,使用康奈尔抓取数据集对模型进行训练。针对康奈尔抓取数据集数据量
学位
关系抽取任务作为自然语言处理领域的一项重要子任务,其目的是从非结构化的自然语言文本中抽取出结构化的关系三元组,抽取结果可以应用于智能搜索、智能问答、事件抽取、知识图谱构建等。在深度学习的有监督关系抽取领域,关系抽取任务可以看作关系分类任务。本文对通用领域的关系分类任务进行调研分析后发现,在基于预训练模型的关系分类当中,往往仅利用实体信息进行关系分类,而对句法信息的利用不足。如何利用句法信息提升关系
学位
近年来,组合优化问题得到广泛研究,主要应用于车辆路径规划、无线调度等工程问题。其中最优路径问题在工程领域中较难解决,主要是因为求解过程中易陷入局部最优解以及得到正确解的概率较低。针对上述问题,本文采用量子近似优化算法(quantum approximate optimization algorithm,QAOA)来解决最优路径问题。它将量子算法和经典优化器结合,利用了量子计算较高的并行计算能力,目
学位