基于密度和倾斜时间窗口的分布式数据流聚类算法的研究

来源 :山东理工大学 | 被引量 : 0次 | 上传用户:Melaniemei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,股票交易、路况实时监控和网络入侵检测等领域产生了海量的、按照时间持续到达的、实时动态变化的数据流。鉴于数据流不同于传统静态数据集,因此适合传统静态数据集挖掘的聚类算法已不能对其有效聚类。所以众多专家根据数据流的特点,研发了许多面向数据流的聚类算法。其中,基于密度的数据流聚类算法DenStream由于能够发现任意形状簇和有效处理离群点,得到广泛应用。但是,该算法既不支持分布式并行计算,又不支持指定时间窗口内实时数据流的演化分析,因此需要进一步改进,以提高算法的性能。针对DenStream算法不支持分布式并行计算的缺点,提出了分布式数据流聚类算法D-DenStream,将算法分成微簇初始化、在线微簇维护和离线聚类三个步骤执行,其中在线微簇维护包括局部点实时更新和全局点合并两个阶段,在各局部点实时并行更新微簇,以实现分布式并行计算,在全局点合并微簇,以得到全局微簇。然后为了提高D-DenStream算法的处理效率,将其部署到Storm集群环境中。最后设计对比实验验证D-DenStream算法的聚类质量和处理效率。实验结果表明,D-DenStream算法具有同DenStream算法相近的聚类质量,但处理效率提升了2倍。针对DenStream算法不支持指定时间窗口内实时数据流的演化分析的缺点,提出了基于倾斜时间窗口的数据流聚类算法TTW-DenStream,将倾斜时间窗口应用到算法中,以实现指定时间窗口内实时数据流的演化分析。然后提出了TTW-DenStream算法的分布式实现方案,并部署到Storm集群环境中,以提高算法的处理效率。最后设计实验验证算法的有效性,实验结果表明,TTW-DenStream算法能够实时聚类数据流,产生的聚类结果能够实现演化分析。将TTW-DenStream算法应用到出租车载客热点的分析中,通过对北京市出租车GPS数据集的实验表明,聚类结果支持演化分析,能够发现出租车的载客热点的分布。综上所述,本文研究并改进了基于密度的数据流聚类算法DenStream,然后将改进后的算法部署到具有低延迟、高容错、高可靠和可扩展的分布式实时计算系统Storm上,以提高算法的处理效率,最后设计实验验证改进算法的优势和有效性,并将TTW-DenStream算法应用到出租车载客热点的分析中。
其他文献
在新课程背景下,越来越注重对学生核心素养的培养。在高中英语教学中,教师除了向学生传授基础之外,还要多方面培养学生的能力,提高学生的英语素养。本文针对如何在核心素养视
作为国民经济建设和社会发展不可缺少的重要基础产业,水泥行业近年来产能严重过剩,各企业间竞争不断加剧,利润空间大幅缩减。在供给侧改革和环保政策的严格限制下,自2017年以来,水泥行业整体效益水平有所回升,但长期粗放式的生产和管理方式仍使大部分企业面临生存危机。当下,水泥行业正步入转型升级的关键时期,如何提升企业自身的成本管理能力,在确保水泥产品质量的同时最大化挖掘成本潜力,增强盈利能力,已成为每一个
随着我国教学理念的更新,初中物理教学模式也在不断地更新。在日常教学的过程中,教师最常用到的教学方法就是小组合作探究。这种教学方法是将合作学习和探究学习充分融合起来
2000年10月31日,同仁堂科技发展股份有限公司(8069)在香港创业板上市。尽管香港股市一段时间来精神不振,但经过一天的起起落落,同仁堂科技稳稳地收在了4.3港元.比3.28港元的
在当前初中教学阶段,道德与法治课作为培养学生思想道德的重要课程,为学生综合素养的改善做出了巨大贡献。但是在开展道德与法治教学的过程中,受到自身学科特点的影响,存在学
调查结果表明,玉州区冬植马铃薯田杂草共有10科26种,其中禾本科1种,占3.85%;菊科10种,占38.46%;十字花科5种,占19.23%;蓼科3种,占11.54%;石竹科2种,占7.69%;藜科、唇形科、茄
带状疱疹是中老年人的常见病、多发病,为探讨带状疱疹的临床治疗效果,控制病情进一步发展,避免导致后遗症,对带状疱疹采用针药并用治疗,现报告如下.
<正>老年痴呆是一种慢性、进行性且不可逆的认知功能下降的症候群。随着社会人口的老龄化,老年痴呆作为老年人的常见病得到越来越多的关注。据欧美国家统计,65岁以上老年痴呆
我国汉字是民族文化的智慧结晶,对人们的日常生活交际有着至关重要的作用。识字教学作为小学语文教学中的重点内容,识字能力的高低关乎到学生未来的读书写作水平的好坏,在小
核心素养是当下我国教育发展的主要方向,培养学生核心素养、促进学生全面发展是当下我国教师们的主要教学目标。语文作为我国教育领域当中的重要学科,更是进行核心素养培养的