基于枢纽现象的离群数据挖掘及其并行化

来源 :太原科技大学 | 被引量 : 0次 | 上传用户:fanlinliuliu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
离群数据挖掘是数据挖掘领域中的主要研究内容之一,而逆K近邻是离群数据挖掘中的主要技术之一。离群数据是指明显偏离其他数据,不满足数据的一般模式或行为的数据对象,但由于维度灾难的影响,大多数传统离群数据方法难以适用于海量高维数据集。本文针对逆K近邻中出现的枢纽现象,对离群数据挖掘及其并行化进行了深入研究。主要研究成果如下:(1)给出了一种基于枢纽现象的离群数据挖掘算法。该算法首先根据逆K近邻中出现的枢纽现象,以及与离群数据的关系,利用K近邻中的距离信息作为权值,对逆K近邻的离群分数进行加权;其次随机生成离群区分度阈值,根据阈值判断离群区分度比例满意值,并根据该满意值计算数据对象的离群程度,选择离群程度最大的若干数据对象作为离群数据对象;最后采用人工数据集和UCI标准数据集,实验验证了该算法的有效性。(2)采用Spark分布式计算框架,给出了一种基于枢纽现象的离群数据并行挖掘算法。该算法使用弹性分布式数据集(RDD),将计算任务分发到各个节点,并在各计算结点分别计算数据对象的离群分数;将K近邻集、逆K近邻离群分数集等保存在内存中,有效降低I/O代价,从而提高了离群数据挖掘效率。采用天体光谱数据集,实验验证了该算法在Spark分布式计算框架下,具有良好的可伸缩性和可扩展性。
其他文献
在磁性形状记忆合金中,温度、应力和磁场都可能诱导马氏体相变或者马氏体变体重排,从而带来巨大的应变效应、吸放热效应、磁感生应变以及输运性质等物性的剧烈变化。此类材料在磁机、磁电、磁制冷等多个领域具有巨大的应用前景。耦合应力和磁场、应力和温度,共同作用于磁性形状记忆合金,能够有效的改善和提高材料的某些应用性能:比如能够扩大磁场诱导马氏体相变的温区等。巨磁致伸缩材料在磁场下能够提供巨大的应力和应变。将巨
随着数据挖掘研究领域的不断拓展,越来越多的数据挖掘方面的研究工作从关系型和事务型数据库扩展到了空间数据库。在卫星和遥感技术的支持下,空间数据库中可以收集和存储日益
随着智能设备和先进的移动应用服务的快速发展,无线网络面临着前所未有的数据流量压力,前传链路面临严重拥塞。雾无线接入网络在雾无线接入节点(Fog Access Points,F-AP)上配
本翻译实践报告文本——《起重机安全操作实用规程》(节选),由英国标准协会出版,涵盖了起重机检验、维护和全面检查以及各类操作要求。该标准的准确翻译,对于国内起重机安全操作相关标准的制定具有一定的参考意义,同时,有助于各种应用场景中操作人员安全操作起重机。鉴于机械文本在词汇、句法以及语篇上与其他类型的文本存在显著差异,本报告以翻译《起重机安全操作实用规程》(节选)为基础,从词法、句法、语篇三个层面,具
近年来,以气温升高为主的气候变化成为全球关注的热点,气候变化通过影响水循环过程及水资源的时空分布,进一步影响着径流。雅砻江流域是中国最重要的水电基地之一,研究气候变化所带来的径流响应对雅砻江流域水资源的规划管理和水电能源开发有着重要意义。本论文以雅砻江流域为研究区,基于SWAT模型对雅砻江流域进行径流模拟,利用SDSM模型获得未来不同气候背景下的气象要素,通过耦合两个模型分析雅砻江流域未来径流变化
随着经济社会发展,机动车越来越多,伴随而来的是非法营运车辆问题出现,破坏社会、交通的正常秩序,增大了社会治安的风险,也关系到城市形象,可以说给城市造成一定的危害,需要引起社会广泛关注。对处于沿海城市的湛江城市来说,也跟很多地方一样,非法营运车辆越来越多,出现日益增长的趋势,需要通过一定的监管来应对此问题,因此,通过湛江地区的非法营运车辆监管研究,提升城市管理水平,打造平安和谐的城市环境基友具有重要
传统鼠标和键盘控制方式并不能完全满足残疾、野外工作等人员的工作需求,于是提出了用Kinect识别人体不同的动作类型来实现光标和键盘的行为模拟,从而达到让计算机通过观察人
产品的包装设计被形容成是一位静默的销售员,而文化属于人类在长期的社会实践活动中所累积的经验结果,它代表着每个民族的社会生产的智慧结晶,不一样的民族他们的文化属性和社会特性也是有差异的。在现今的世界进程中,地域文化是地域物质文明和大众实践相结合的非常普遍的一部分。将产品包装与本土特色文化元素相结合,不仅可以促进品牌文化的传播,而且可以通过强调品牌个性来体现品牌之间的差异,使其产品在众多品牌竞争中脱颖
伴随遥感对地观测技术的发展,多元、多尺度、多时相的遥感影像数据不断产生,遥感影像的数据量呈现出近似指数级的增长,传统的遥感数据管理模式已无法满足遥感影像大数据组织管理的需求,如何实现海量遥感数据的高效组织逐渐为人们所重视。目前,结合新兴数据技术与管理模式研发针对遥感影像大数据的管理服务组织方案已成为学界的研究热点。本文旨在以已有的遥感数据组织管理技术为依托,以分布式存储、计算技术为基础,构建一种高
物理是一门以实验为基础的学科,在物理教学中实验教学具有特别重要的作用。通过演示实验,可以形象、生动地展示物理过程,从而启发学生思维、激发学习兴趣、形成良好的学习动