基于数据挖掘的分布式异常检测

被引量 : 27次 | 上传用户:zap2050zap
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘是知识发现的一种重要工具,它的目的是发现隐含在大量数据中有价值的模式信息。异常检测在数据挖掘的四大任务中占据着非常重要的地位,与预测模型、聚类分析和关联分析相比,它显得更有价值,更能体现数据挖掘的初衷。例如,一万个正常的记录很可能只覆盖一条规则,而十个异常很可能就意味着十条不同的规则。异常检测在多个领域中具有广泛的应用,如信用卡欺诈检测、药物研究、医疗分析、消费者行为分析、气象预报、网络入侵检测等。在信息产业高速发展的今天,随着业务规模的不断扩大和服务内容的不断更新,迫切需要企业采用分布式解决方案,用于管理复杂的异构环境,实现不同硬件设备、软件系统、网络环境及数据库系统之间的协同工作,这也给研究者和工程人员提出了新的挑战。在分布式环境下,异常检测需要考虑的主要问题是:如何利用最少传输提供最大的信息共享,同时要保证异常检测的准确性和各方数据的隐私性。为解决此问题,本文从数据挖掘的角度,针对分布式异常检测技术进行了创新性和探索性研究。主要研究内容为:1.从异常检测的定义出发,针对现有基于数据挖掘的各种异常检测方法进行了详细描述,并分析其各自优缺点和目前国内外相关技术的研究现状。2.通过对比集中式异常检测和分布式异常检测的不同,并结合集成学习方法,提出一套分布式异常检测框架。应用此框架,分别针对有监督学习和无监督学习的异常检测方法进行了研究,实验结果表明提出的分布式检测框架能够获得和集中式检测相当甚至更好的检测效果,同时能够保证各方数据的隐私性。3.研究分布式环境下数据流上的异常检测,同时提出一种响应式的概念漂移检测模型,能够准确的进行概念漂移数据流上的异常检测。4.研究分布式环境下高维数据的无监督异常检测,针对高维科学数据提出一种自适应谱聚类方法,并在分子动力学数值模拟科学数据上进行了实验,得到了很好的检测效果。5.研究分布式异常检测中的隐私保护问题,并针对支持向量机分类器提出了一种隐私保护支持向量机。通过实验证明,提出的方法能够保证数据的隐私性,同时能够达到和原支持向量机相当的检测效果。研究基于个性化隐私保护的数据挖掘问题,并提出一种基于数据扰动的个性化隐私保护方法用于分布式异常检测。
其他文献
文章选取了唐宋两个朝代的婚姻进行比较,在讲述婚姻演变时通过具体的事例来说明异同之所在,让人们从另一种角度去认识唐宋社会。唐代是我国古代的开放时期,宋代社会是我国古
现行的《英语课程标准》及中学英语教学大纲对高中英语写作教学的目标做了明确的要求,并且,随着社会对人才的要求越来越高,越来越多的高中英语教师意识到写作教学的重要性。
目的观察加味痹证"三两三"方联合甲氨蝶呤治疗寒湿瘀阻型类风湿关节炎的临床疗效。方法将120例寒湿瘀阻型类风湿关节炎患者随机分为治疗组(80例)与对照组(40例)。对照组予甲
<正> 1986年12月,中国赴日本渔港考察团对日本的渔港建设与管理进行了考察,参观了铫子、烧津、下关三个大型渔港和外川、午板两个中小型渔港以及水产工程研究所,并进行了技术
在现代电子目标侦查识别研究中,雷达脉冲参数测试应用是一种典型的手段之一,通过对雷达脉冲信号时域参数如脉冲幅度(PA)、脉冲到达时间(TOA)和脉冲宽度(PW)等参数指标的测量,
从“胆虚寒”论治心悸证上海卢湾区顺昌地段医院沈经宇(200025)关键词:胆虚寒,心悸胆病辨证在中医基础理论藏象学说中阐述较简单。一般认为胆附于肝,内藏精汁,主决断,与思维活动有关。然《
近年来,灾难电影发展势头迅猛,成为好莱坞票房的最佳保证,而在现实社会中,频繁出现的各种灾难更是引起全世界的关注。在一定程度上,人们在为灾难电影的视觉刺激感到酣畅淋漓
目的探讨胶原生物膜在兔硬脑膜修补中的安全性和有效性。方法将32只新西兰大白兔随机分成4组,每组8只。每只大白兔均于中线两侧冠状缝后牙钻磨出直径15mm骨窗,暴露硬脑膜,剪
土地整治的实施是一个在各方围绕提高土地利用效率而进行的土地权属调整与权益再分配的过程。由于不同利益集团之间的利益冲突和信息不对称这两项内生式缺陷,产生了逆向选择