基于Spark的物理海洋大数据云计算技术研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:A58400794
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,大数据、云计算等新兴技术快速发展,在电子商务、教育、医疗、交通等领域已经得到广泛的应用。云计算能够给用户提供可靠的、自定义的、最大化资源利用的服务,具有安全的数据存储、方便快捷的互联网服务和强大的计算能力等特点。目前,我国正在大力发展海洋事业,随着海洋探测技术的不断完善和优化,海洋数据表现出了海量化、复杂性、多样化等特征,给数据管理、利用和海洋知识挖掘等带来巨大的挑战。本论文研究了基于Hadoop和Spark的云计算技术,设计了一种针对物理海洋数据的云存储和处理方案,并将这一方案应用在数据的统计分析中。相比传统的文件服务器处理模式在配置成本高、处理效率较低、编程模型复杂等方面的不足,基于Hadoop和Spark的云计算技术在分布式数据存储和并行计算方面有明显的优势。针对海洋大数据的分布式存储,本论文采用HDFS作为底层存储框架,并对HDFS的整体架构以及数据如何写入、分块、备份和恢复进行了深入研究,并与本地文件系统做了对比;针对海洋大数据的分析处理,本论文采用Spark和Yarn相结合的方式进行并行框架设计,并基于RDD构建NetCDF分布式数据集,通过重写数据读取接口对大范围的物理海洋数据进行并行处理。本论文研究设计了 Yarn集群模式下的系统性能调优方案,对HDFS数据块大小、Spark应用程序提交参数和Yarn资源分配参数进行了调优设置。最后,本论文总结了 Hadoop集群和Spark集群的环境搭建步骤,并对渤黄东海区域40年的海浪数据做了查询统计效率对比试验,试验证明相较于单机模式,云计算模式在大量数据处理方面具有较高的效率。本论文将基于Hadoop和Spark的云计算技术应用于有效波高-跨零周期散布图统计分析中。散布图统计利用传统定义实现了有效波高-跨零周期联合分布统计,并分析了有效波高在季节和地理位置方面的变化规律;其次分别利用极值工型分布函数(参数方法是耿贝尔法)和Ochi提出的波高周期联合分布函数相关理论进行了不同重现期下有效波高极值和周期期望值的推算。
其他文献
船舶柴油机造成的污染己越来越受到各国的重视,满足船舶柴油机NOx排放的TierⅢ排放标准,采用SCR(Selective Catalytic Reduction)系统是目前可行的技术路线。SCR系统在运行过
现在,免费电子邮箱的容量越来越大,很多都已经 达到1 G B以上,仅仅用来收发电子邮件,多少有些浪 费。其实,我们还可以申请几个这样的大邮箱,专门用 来和好友共享文件。下面我
本文叙述了采用厌氧-接触氧化工艺处理维生素B12、淀粉混合废水的中试研究情况。试验结果表明,采用上流式厌氧污泥床反应器。在35℃±1℃的条件下,当进水COD为13131mg.L^-1
最近朋友的WindowsXP系统的IE浏览器出现了问题,在“Internet选项”的“安全”标签卡中无法调整IE的安全级别了(如图1)。开始怀疑注册表被修改了,可是清理注册表之后,故障依
本文报导了用IC厌氧反应器处理酒精废醪的中试结果:容积有机负荷达到30.5kgCODm^-3d^-1;并根据中试结果和对IC反应器结构原理的分析,认为将处理酒精废醪的USR改造成IC厌氧反应器
沼气的主要成分是甲烷(约占50~70%)和二氧化碳(约占30~40%),其中二氧化碳是一种阻燃气体,加之甲烷的燃点较高,燃烧速度慢,因此相对其它燃气灶具来说,沼气的特性就决定了沼气灶具的点火装置
不知道拨号上网的网友们有没有遇到过这种问题:拨 号连接可以成功,但是IE却不能连线(无信息)。笔者使用 的是Windows XP SP2操作系统,经常会有这种问题出现,
取消烦人的拦截攻击通知在使用卡巴斯基时,很多朋友可能都遇到过这样的问题:每次拨号连接到网络后,它就会弹出一个警告窗口, 提示受到某某攻击并已成功拦截了,通常我们是勾选
2012年2月14日,在2011年度国家科学技术奖励大会上,北京建筑工程学院共有3项科技成果获得国家科技奖.分别是:土木工程学院徐世法教授主持完成的"固体废弃物循环利用新技术及其
高等职业教育担负着为社会培养高素质技术技能型人才的使命。高职教育的发展,促进了区域经济的发展,而区域经济的高速发展,又为高职教育的发展提供了前提条件。区域产业结构