基于Spark的乘潮水位任务控制模式研究

被引量 : 0次 | 上传用户:qwerdfhkotfd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着计算机技术和海洋环境信息观测技术的进步与发展,海洋环境信息越来越呈现出数据量大、多尺度、类型复杂、形态多样、时空特性强、动态更新频繁的特点,为了更好的研究长时间序列下空间数据场的处理问题,结合目前我国数值计算服务模式的发展特点,将Spark框架应用于乘潮水位任务控制模式中,改变了传统乘潮水位计算的业务模式。近年来,云计算技术迅速发展,成为经济社会发展的重要推动力,并行计算为处理海洋数据提供了一个新的技术路线。Spark并行计算框架作为一种内存式计算框架,在沿用传统Hadoop云计算框架优点的基础上,设计了一个更加通用的编程抽象,它可以处理不同的计算任务,实现了一个MapReduce的扩展,被称为弹性分砸式数据集(RDD)。RDD大大增加了Spark并行计算框架的通用性,增加了高效的数据共享,单个执行模型可以有效地支持不同的分布式计算。基于Spark框架的上述优点,本文开展了基于Spark框架下的乘潮水位任务控制模式研究。本文根据国家海洋公益项目“海洋环境信息云计算与云服务体系框架应用研究”对海洋环境信息处理的要求,以实验室开发的Spark框架下乘潮水位任务控制和web交互系统为基础,研究了基于Spark下的乘潮水位任务控制模式框架体系,并对Spark调度算法进行研究,针对乘潮水位计算的具体特点,研究并实现了适合乘潮水位计算的调度算法,实验结果表明,基于Spark框架下的乘潮水位任务控制模式,能够改变乘潮水位传统的业务计算模式,将云计算技术引入到乘潮水位的计算中,降低乘潮水位计算对高性能集群的依赖性,降低计算的硬件成本;灵活性方而,改变了一体式的计算模式,可以根据计算需要,提高局部乘潮水位计算区域的效率和精确度;在任务控制模式方面,改进后的任务控制算法,可以提高任务分配的合理性和科学性,从而提高乘潮水位计算的效率。实验结果证明:基于Spark的乘潮水位任务控制模式能够提高乘潮水位计算的效率,提高任务计算的速度。本文主要的研究内容和工作如下:1.研究目前云计算技术的发展和应用情况,以及云计算技术在海量海洋环境数据处理上的优势,结合海洋环境处理典型应用——乘潮水位计算的业务模式和计算特点,研究将Spark并行计算框架应用于乘潮水位任务控制的模式。2.针对传统集群一体化计算的缺点,设计和实现了乘潮水位计算Web交互系统,增加了乘潮水位计算的灵活性、伸缩性和交互性,并支持对乘潮水位计算结果可视化的交互浏览和无级缩放,达到使用云平台进行海洋环境信息处理的目的,为直观展示和分析海洋数据,挖掘和研究海洋规律提供更高效更快速的手段。3.对乘潮水位计算过程进行监控,了解各个计算任务的节点分配情况。4.在研究Spark原生调度算法之后,结合乘潮水位任务计算的特点,提出一套优化调度算法,以Spark集群计算能力和乘潮水位计算区域的复杂度为调度算法的依据,有效提高了Spark框架下乘潮水位计算任务分配的合理性,使Spark集群的计算效率提高。
其他文献
本文是基于企业客户对数据库的实时反应性能及成本要求压力的背景下完成的快捷内存数据库的自主研发。传统的磁盘数据库就是把所有的数据都存放在磁盘上。磁盘数据库需要频繁
阐述了第三方物流概念 ,分析了第三方物流发展现状 ,研究了第三方物流在现代物流系统中表现出的主要特征和对现代物流发展起的主要作用 ,通过对国外第三物流发展趋势的三个方
目的了解儿科门诊就诊的学习困难的中小学生的智力水平。方法对在儿科门诊就诊、因学习困难家长要求进行智力测量的102例中小学生采用中国—韦氏儿童智力量表进行测量。结果
中国古代山水田园诗派中,陶渊明、谢灵运、王维是最高成就的代表,堪称三座高峰。运用点面结合的方法,通过对其思想渊源和时代发展的深入论述,梳理出陶、谢、王三家诗歌的发展
我国很多医学院校(包括中医院校)都曾经或还在为不同层次的学生开设“医学英语”课,但对“医学英语”的定义,目前仍然是见仁见智,“经院”学派的英语语言研究者否认“医学英
利用1981-2004年的面板数据,对中国环境库兹涅茨曲线的存在性及其区域差异性与趋同性特征及变化趋势进行了实证研究。研究结果表明,中国的部分污染物具有明显的EKC特征,转折
当前学生的厌学现象相当普遍,主要表现为对学习感到乏味,提不起兴趣,上课精神涣散,注意力不集中,消沉、不安、逃学、懒学并想辍学。厌学现象的存在,不仅直接影响学生的学业和
<正>审题、立意之后,就该构思全文了,而在构思全文时最需要做的一件事就是编写写作提纲。提纲编写得好,不仅会使接下来的动笔写作有所遵循,从而避免离题、跑题等现象出现,还
2008年9月10日中国法学会审判理论研究会"挑战与机遇:执行体制和机制实践创新(浙江)论坛"在浙江宁波召开。与会理论与实务代表对我国执行体制和机制的创新与完善进行了深入讨
为观察丹芍颗粒治疗儿童紫癜性肾炎的临床疗效 ,将 63例患儿随机分为两组 ,观察组3 2例用丹芍颗粒治疗 ,对照组 3 1例用雷公藤多甙片加复方丹参片治疗 ,疗程 1个月。结果 :观