基于Hadoop的海洋数据存储处理系统

来源 :中国海洋大学 | 被引量 : 0次 | 上传用户:shy712108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海洋作为一个资源宝库,已经得到了许多国家的关注。并且随着对海洋资源的开发与利用的不断深入,越来越多的海洋科学数据就涌现出来。这些海洋数据有着自己的特点,例如:多样,复杂,动态变化和异构等,因此需要有针对性的存储和处理策略。但是目前对于海洋科学数据的存储与采集都没有形成统一的标准与规范。所以如何合理的存储与管理海洋数据并且对海洋数据实现高效的利用已成为海洋科学研究的关键问题之一。传统的处理大规模数据的方法也有很多,一般会通过并行计算,分布式计算,网格计算等,这些技术有着自己的局限性。它们在资源配置上面价格昂贵,并且要通过繁琐的编程才能实现对计算大规模数据的有效分割和合理分配。而以Hadoop为代表的云计算,云存储却能很好的解决这些问题。本文在对Hadoop分布式存储与处理技术进行研究的基础上,在一例海洋探测系统开发实践过程中,研究了Hadoop技术在海洋数据存储和处理的应用,设计了基于Hadoop的海洋数据存储处理系统架构,并对Hadoop上的海洋数据的处理进行了一定的研究。本文针对海洋数据存储处理系统的建设需求,对云计算的关键技术:Hadoop, HBase, HDFS进行了分析和总结:在分析了海洋数据的特点总结得出了海洋数据处理的需求,并结合着用户对系统的需求分析,设计出了系统的整体架构,实现了数据存储在HDFS上的功能,并且对上传的数据进行了优化处理,本系统采用的是数据去重技术,然后利用mapreduce的<key,value>实现了对特殊格式NetCDF格式文件的读取以及转换成自定义的.txt格式数据的功能,接下来设计了面向列存储的HBase数据表,实现了将海洋数据存储到HBase数据库中,最后实现了系统的前台用户查询界面对数据的各种操作功能,本系统实现了根据不同的登录用户提供不同的操作模块。在本文最后进行了数据压力测试和数据检索测试,通过数据结果证明数据存储在Hadoop上面的可行性。基于Hadoop的海洋数据的存储与处理系统为云技术处理海洋数据提供了一种可行的解决方案,可以有效的存储和处理海量的海洋科学数据。
其他文献
基于动态压力传感器的管道泄漏检测,由于工况的多变使得泄漏信号经常被背景信号淹没,固定分解尺度的小波去噪得不到理想的效果。在分析泄漏信号特征的基础上,提出了一种简单
合理的干扰资源分配方法是干扰系统发挥效能的关键,传统的雷达干扰资源分配方法基于一对一或多对一原则,且分配时不考虑干扰样式。基于多波束干扰系统,考虑干扰样式的限制建
针对现有方法普遍存在的波束形成算法效率低、难以形成多频点多方向的同时多波束干扰、不适用于随机布阵条件下的波束形成等缺点,提出了一种基于二阶锥规划(SOCP,Second-Orde
实施精准扶贫是新时期中国扶贫攻坚的战略选择,公共财政在精准扶贫工作中发挥着举足轻重的作用。本文从精准扶贫的定义和内涵入手,分析政府为什么要介入扶贫工作,在政府介入
近年来,高速公路在管理和控制上实现了基础上创新管理,高速公路企业为了应对市场化的竞争环境作出了一系列的调整以及规划。在高速公路企业如何面对竞争问题下实现创新,从而提升
汉语和印尼语分别属于不同的语系,汉语属于汉藏语系,印尼语属于南岛语系,但它们的语序却存在着很多的相似性。顺序象似性使汉语和印尼语的语法单位的排列顺序与概念内容的时
对防空武器平台的业务进行了分析,通过协同作战模式的特点制定了专用的数据链时隙划分及用户时隙分配,并进一步对宽带高速数据电台下的数据传输进行了分析,最后进行了宽带高
以两层升降横移类链条提升式停车设备为例,介绍停车库的提升速度和载车板横移速度的计算方法,为类似停车设备的设计计算提供参考。
<正> 自然辩证法与科技实践的关系,实质上也是理论和实践的关系。概括起来说就是:自然辩证法来自科技实践,反过来又指导科技实践,并在科技实践的推动下得到丰富和发展。这个
本文阐述大面积推广智能化住宅不适合于我国目前发展国情,并对中高级住宅弱电系统的设计提出了一些具体看法。