基于MapReduce与距离的离群数据并行挖掘算法

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:rgy1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘技术是解决数据丰富而知识贫乏的有效途径,离群数据挖掘是数据挖掘领域中的重要研究内容之一,己广泛应用于网络入侵检测,信用卡诈骗,垃圾邮件的分析和基因突变分析等领域.在高维海量数据中,由于数据量大和维度高,严重影响了离群数据挖掘的精度和效率.本文在KNN基础上,通过定义"解集"的概念,在MapReduce编程环境下,实现了一种基于距离的离群数据挖掘算法.分别采用人工数据集和UCI数据集,实验验证了该算法在不同条件下,参数对算法性能的影响.
其他文献
针对现有音乐平台分类类别固定、检索内容限制过多的问题,本文提出了一种基于用户评论的自动化音乐分类方法.首先,通过linear CRF统计分词模型、n元取词和紧密度分析方法学习
针对由动态范围,光照条件,图像捕获设备等因素获得的低亮度图像,提出了一种基于亮度评估技术的特征增强衍生图融合算法来实现亮度较暗图像的对比度调整和特征增强.首先,利用亮度评估技术对低亮度图像的亮度进行评估优化处理,得到曝光率映射;然后,结合曝光率映射和改进的卡方分布函数模型来获取两幅特征增强的衍生图进行融合.最后,利用改进的衍生图融合算法得到最终融合图像.实验结果表明,所提算法的亮度误差,视觉信息保
为有效提高体域网动作分类性能,本文提出了一种基于K-SVD的最大似然稀疏表示体域网动作分类算法.该算法首先基于K-SVD优化学习算法,将不同动作模式训练样本按其所属类别分组
为了更好的消除图像中部分雾气,解决传统暗原色先验去雾算法的不足,提出了一种改进图像去雾算法.采用自适应取界获取暗原色区域块,对大气光强进行区间估计,改进了透射率修复方法,通过引入一种容错方法,使算法能更好地处理不满足暗原色先验的强光区域.实验结果表明,改进算法能有效去除图像的雾气和强光区域.
为了能在无线传感器网络选择一种合适的非对称轮询服务,对非对称门限服务与完全服务的性能进行了分析和比较判定了两种服务在不同情况下其各自特性的优越性.通常在分析非对称
对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分:图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网
差分进化算法(DE)是一种较新的进化计算技术,具有概念简单、易于实现、收敛速度快等优点,得到了广泛的关注和应用.为了解决经典DE计算开销大,参数设置与问题本身过于相关等缺
为了使高校的就业指导工作更具针对性,可以有针对性地培养学生,本文收集了毕业生的相关信息及其各自的就业情况,构建了基于HMIGW 特征选择和XGBoost 的分类预测建模算法,并将
为了缓解大城市中日益突出的停车困难,现如今中国各大城市级停车诱导系统的研究开发势在必行.在停车诱导系统中,作为帮助用户找到最合适的停车场的重要因素,对未来停车位的预
针对传统K-means算法在处理海量数据时,存在计算复杂度高和计算能力不足等问题,提出了SKDkmeans(Spark based kd-tree K-means)并行聚类算法.该算法通过引入kd-tree改善初始中