基于云计算及关联规则挖掘技术的气象数据挖掘研究

来源 :内蒙古工业大学 | 被引量 : 7次 | 上传用户:ttt888tql
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网及信息技术的快速发展,现代社会所面临的问题已由如何获得信息转变为了如何在迅猛增长的海量数据中找到有价值的信息。气象资料类型复杂,数据量庞大,其中蕴藏着大量的气象规律。关联规则数据挖掘在寻找气象规律中显示出了强大的生命力,它能够找出数据之间的潜在联系及规律,通过这些规律可以有效地进行气象预测,对灾害性气候及时采取防范措施。但是气象数据的数据量十分庞大,传统的关联规则数据挖掘算法已经很难满足需求,解决关联规则算法在效率、适应性和可用性等方面的瓶颈问题变得日益重要。资源的动态分配、按需服务,以低成本处理海量信息,这是云计算的设计理念。通过云计算技术,可以在短时间内实现处理数以千万计甚至亿计的信息,具有和“超级计算机”同样强大的超级计算能力和存储能力。因为云计算这种强大的数据存储及处理能力,所以将数据挖掘算法移植到云计算平台上,会明显的提高计算效率。本文针对传统关联规则算法FP-Tree算法存在的一些局限性和Hadoop开源平台在大数据集处理中表现出的优势,设计了基于MapReduce的FP-Tree算法。算法被分为两部分进行MapReduce化操作,最后将结果进行合并,产生最后的频繁模式。为评估算法性能,设计了系列实验。通过改变数据集大小、支持度及Map任务数从多角度测试算法性能并针对真实气象数据进行了预测实验。从实验结果不难看出,MapReduce化后的FP-Tree算法在处理海量数据时其计算效率及算法运行的完整性要优于传统算法,而支持度及Map任务数的改变也会对算法效率产生影响。
其他文献
系统拥有高的安全性和可靠性意味着工作人员的人身安全能够得到更好的保障,同时也可以提高经济效益和生产效率。容错控制(Fault Tolerant Control, FTC)能在系统发生故障的情
随着中国城镇化脚步的不断跨步,城市人流量及机动车等呈现爆炸式的增长,由此带来的一系列管理问题正给交警部门带来了前所未有的严峻挑战。过去十年,交警部门的信息化建设相
随着多媒体技术的发展,三维重建技术被广泛应用于电影特效、数字城市、三维游戏、人机交互、非物质文化遗产保护等领域。近年来,基于多视图的立体三维重建更是计算机视觉领域
随着信息技术的快速发展,云计算和重复数据删除技术也得到了迅速的发展。云计算凭借其强大的分布式计算能力以及低成本高可靠性的优势,在海量数据处理方面占据主导地位,但是Hado
云计算作为一种新的计算服务模式,通过互联网相连接,利用开放的技术和标准把硬件和软件抽象为动态的资源,对外以服务的形式提供给用户。但作为新兴发展领域,其大部分相关问题
随着互联网技术的不断发展以及网络信息资源的飞速增长,人们对于网络的依赖性越来越强,对网络信息搜索的要求也愈来愈高,而搜索引擎成为了连接个人和网络资源的一个不可或缺的渠
随着互联网和大数据技术的不断发展与应用,产生了源源不尽的数据流。数据流的产生具有无限性、连续性、动态性和实时性,因此对数据流的分析处理要求快速有效地获取结果,以便
多约束QoS组播路由问题是下一代网络发展亟须解决的一个关键问题。对其展开研究具有重要的应用价值和学术价值。多约束QoS组播路由问题被证明是一个NP难问题,所以传统的图论方
随着计算机和互联网的普及与发展,网络上各种信息资源的数量也在爆炸性的增涨。互联网用户在享受海量数据信息带来便利的同时,也必须面对如何从这庞大的信息中提取自已所需信
人工神经网络是近年来的热点研究领域,其应用领域诸多,包括:信息处理、材料学、交通、经济等,并在不断拓展。在众多的神经网络中,又以BP(BACK-PROPAGATION,简称BP)神经网络的