分类型数据异常检测算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:songking99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在进行数据分析的时候,常常会遇到与整个数据集行为不相符的数据,这些数据被称为异常数据、异常值或者离群值。异常值检测是最基本的数据分析任务之一,用于发现罕见事件、例外情况或与常规条目的某种偏离。异常检测在许多领域里面有着重要的应用,包括但不限于通信、统计、金融欺诈、网络安全、气候异常等等。尽管存在许多用于数值型数据中异常值检测的方法,但是只有少数几种方法可以处理使用分类属性表示的数据。分类型数据用于异常值检测的研究较少,但实际上分类属性构成的数据随处可见,由于分类型数据并不一定是有序的,使得难以在分类型数据上定义相似度度量、计算最近邻居或者计算距离或密度。由于这些问题的存在,导致分类型数据异常检测并不是一个容易的任务。本文对分类型数据异常检测问题进行讨论和研究,提出了两个基于熵的异常检测方法分别为称为ODF(Outlier Detection Forest)算法和基于ODF改进的FASTODT(Fast Outlier Detection Tree)算法。本文首先介绍了传统的根据数据集熵的变化来判断数据异常程度的熵差计算方式,之后提出了传统的熵差计算存在熵差大小受数据量大小影响的问题,并设计了一种改进方法来解决这一问题。接下来本文提出了基于树模型的ODT(Outlier Detection Tree)算法,该算法是ODF算法的组成部分,该算法通过熵差的大小来判断数据中属性的异常程度,然后根据树模型的if-else规则来通过判断数据每一个属性是否为异常来决定数据是否为异常。在这之后,ODF算法利用了对树模型剪枝的方式构建了不同的ODT模型,并将它们组合到一起形成了ODF算法,ODF算法根据多个ODT的异常检测结果进行结合来对数据进行最终的判断。在这之上,本文又对ODF算法进行合并与简化,设计了一个FAST-ODT的算法。此外,本文实现了所提出的算法,并利用模拟实验通过与现有最新方法进行比较来评估这些方法。在分类型数据异常检测问题中,ODF算法可以保证异常检测效果的同时,有着较快的运行速度。而FAST-ODT算法对ODF算法进行进一步的改进,该算法在保证异常检测质量的同时,与最新的算法相比在时间性能的表现上有显著的优势。
其他文献
近几年来,云技术高速发展并已应用到多个领域,这也使得结合云技术来完成校企发展的综合管理成为可能。利用互联网信息技术与云技术相结合,设计一套校中厂发展综合管理系统,不
睡眠是使机体复原和巩固的重要环节,对睡眠分期和睡眠觉醒事件进行研究是临床上诊断睡眠相关疾病的基础,临床上通常采用多导睡眠仪采集相关人体生理数据,经医生人工分析标注
IT技术的飞速发展为现代医学发展带来了新契机,所以医疗健康与互联网大数据应用相结合成为现代医学发展的重要方向趋势。医学检测数据的即时传输与无线互联成为POCT现场检测技术的新趋势。本文通过技术整合创新,设计了一种运用短距无线通讯技术的一次性数字化检测试纸卡。通过该数字化试纸卡可将检测的医疗数据方便快捷传输至互联网云端,实现大数据共享与应用。主要研究内容如下:1)学习NFC技术机制,并通过PC端调试
航空发动机是一个复杂的控制系统,具有多种工作模态,而且运行动态具有很强的非线性和时变特性。本文针对某型航空发动机,建立了基于线性化模型和平衡流形展开模型的切换系统
近几年来,量子光学混沌的研究方兴未艾,并在光机械和量子保密通信等领域呈现出广阔的应用前景。特别是,量子混沌网络的建模、同步和参数识别等课题的研究已成为量子领域的热
高性能计算(High Performance Computing,HPC)开始进入Exascale时代,大量的数据密集型应用在HPC系统中大规模运行,导致对存储系统的需求不断增加。同时HPC正朝着云计算方向发展,多租户多负载场景在云HPC系统中越来越常见,这意味着系统中的存储资源在越来越多的用户之间进行共享,有限的存储资源需要服务更多的应用。当多个应用同时访问存储系统时,它们将竞争I/O资源,产生
摇滚乐产生于20世纪50年代的美国,因其自由狂野的表演形式,迅速在青少年群体中蹿红。随着我国改革开放政策的实施,摇滚乐传入中国并生根发芽,被越来越多的青少年所接受。特别
在中国大力发展制造业,向建立工业强国、制造业强国的发展目标下,中国的工业生产模式正由小规模、多人工、低效率全面转向大规模自动化、安全可靠的生产模式,生产的规模和业务线种类日益增加,同时不断提出工业界的新标准,在工业生产中不断提出新名词:工业4.0,同步工程,大数据技术等等。智能仓储提出目的是有效解决工业生产和库存中物料、产品的快速流转问题,智能仓储不同于以往的旧式存储方式,旧式存储获取仓储中物料信
二氧化硫(SO2)是一种由燃料燃烧和工业排放的主要大气污染物,溶于水后极易形成两种衍生物亚硫酸盐(SO32-)和亚硫酸氢盐(HSO3-)。在生物体内,SO2具有独特的生物活性,有利于血压降
目的:探讨MPFL解剖重建联合髌外侧支持带松解治疗青少年急性髌骨脱位的临床效果。方法:该研究属于回顾性研究。随机选取23例(23膝)自2014年3月至2017年9月于承德市中心医院骨二科行MPFL解剖重建联合髌外侧支持带松解治疗的青少年急性髌骨脱位患者作为观察组,且手术均由同一高年资医师完成;随机选取同时期就诊于本院门诊行石膏或者支具外固定保守治疗的23例(23膝)青少年急性髌骨脱位患者作为常规组