基于MapReduce的海洋环境数据关联规则发现研究

来源 :东北大学 | 被引量 : 4次 | 上传用户:FalyE
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海洋对全球气候变化具有重大影响。对不同海域的海洋环境数据进行关联分析,使得我们可以从海洋环境数据中发现海洋气候异常变化规律,从而为全球气候变化预测提供智力支持。本文以海洋环境数据中的温度和盐度数据为例,研究不同海域的海洋温度和盐度变化之间的关联。与传统的购物篮分析不同,海洋温度盐度变化之间的关联挖掘属于典型的事务间事务的关联分析,使得关联分析不再局限于事务内。因此,挖掘海洋温度盐度变化模式是一项十分艰巨的任务。本研究立足于海洋Argo浮标观测数据,应用MapReduce编程框架对不同海域间温度盐度变化事件进行了关联分析。论文主要工作如下:(1)分析了Argo浮标观测数据文件的特点,应用MapReduce编程框架从Argo数据中提取了2000年1月至2010年5月间全球海域的温度盐度数据,并对其进行了数据规约、数据变换等预处理工作。(2)结合事务间事务的关联分析方法对不同海域的海洋温度盐度变化事务特点进行了深入研究与分析,提出了基于邻域的时空事务分析方法,并给出了两种空间划分模型。对事务间事务的维度属性做了分类属性和量化属性的区分,在理论上对事务间事务关联分析理论进行了扩展。(3)在分析海洋温度盐度变化事务的维度属性特点的基础上,提出了事务间事务维度属性变换的理论与方法,对事务的属性维数进行了有效约简。(4)重新定义了海洋温度盐度变化事务中项之间的次序,对预处理后的海洋温度盐度变化数据使用基于MapReduce框架的并行FP-Growth算法进行了频繁模式发现,生成了关联规则并对影响频繁项集的因素做了细致的实验分析。通过理论分析和实验验证,证明了本文提出的将MapReduce框架应用于海洋温度盐度关联分析的可行性和正确性。
其他文献
随着互联网时代的发展,大量的信息数据在不断产生。个性化推荐帮助用户从海量数据中筛选出需求的数据,为了使用户获得更好的推荐体验,如何优化推荐就成为推荐领域的研究热点
近年来本体在知识管理和语义网络中扮演着越来越重要的角色,是许多应用的必不可少的一部分。有了本体的支持,不管是用户还是系统都能使用一个领域的共同理解来进行交流。由于
随着中国移动产品、服务的增多,受理渠道的多样化,网络业务平台也越来越复杂,业务流程的不完善性越来越明显,由于数据不一致情况造成业务、计费及服务的问题日趋严重,由此带来的客
人物检索是互联网用户最重要的活动之一。人物搜索引擎、社会网络构建等与人物相关的网络应用成为研究的热点。人物属性抽取是这些研究的一个重要基础。本文基于维基百科的人
我国是一个农业大国,农业生产在我国的经济生产中占据很重要的位置,随着农业的进一步发展,发展智能农业已经成为了研究热点。智能农业的发展对于计算机的应用提出了更高的要
在现代飞速发展的信息通信领域中,Internet和移动通信的未来发展是两个引人瞩目的方向。随着以IPv6协议为基础的下一代互联网(CNGI)以及3G移动通信网络的部署和应用,以单机移
基于视频图像序列的人体运动跟踪技术是计算机视觉领域中的研究热点之一。人体运动跟踪的目标是从视频图像序列中检测、跟踪运动人体,获得人体运动参数,编辑并利用已经获取的
高速铁路车载单元采用无线通讯协议,和轨旁的无线闭塞中心,或其它与之相关的安全设备交互信息。而这些安全设备之间需要通过认证密钥进行通信,因此需要有专门的密钥管理识别系统
渗透测试是指借助于值得信任的组织试图对信息系统中的漏洞进行探测和开发的安全实践活动。渗透测试已经从不同系统开发阶段的应用测试发展到生产系统中的网络安全测试。同时
数据挖掘在最近几年里已被广泛的研究和应用,而频繁项集挖掘则是诸如关联规则挖掘、序列模式挖掘等数据挖掘问题中的关键步骤,因此对它的研究具有重要的理论和实际价值。本文的