论文部分内容阅读
伴随着计算机技术和海洋环境信息观测技术的进步与发展,海洋环境信息越来越呈现出数据量大、多尺度、类型复杂、形态多样、时空特性强、动态更新频繁的特点,为了更好的研究长时间序列下空间数据场的处理问题,结合目前我国数值计算服务模式的发展特点,将Spark框架应用于乘潮水位任务控制模式中,改变了传统乘潮水位计算的业务模式。近年来,云计算技术迅速发展,成为经济社会发展的重要推动力,并行计算为处理海洋数据提供了一个新的技术路线。Spark并行计算框架作为一种内存式计算框架,在沿用传统Hadoop云计算框架优点的基础上,设计了一个更加通用的编程抽象,它可以处理不同的计算任务,实现了一个MapReduce的扩展,被称为弹性分砸式数据集(RDD)。RDD大大增加了Spark并行计算框架的通用性,增加了高效的数据共享,单个执行模型可以有效地支持不同的分布式计算。基于Spark框架的上述优点,本文开展了基于Spark框架下的乘潮水位任务控制模式研究。本文根据国家海洋公益项目“海洋环境信息云计算与云服务体系框架应用研究”对海洋环境信息处理的要求,以实验室开发的Spark框架下乘潮水位任务控制和web交互系统为基础,研究了基于Spark下的乘潮水位任务控制模式框架体系,并对Spark调度算法进行研究,针对乘潮水位计算的具体特点,研究并实现了适合乘潮水位计算的调度算法,实验结果表明,基于Spark框架下的乘潮水位任务控制模式,能够改变乘潮水位传统的业务计算模式,将云计算技术引入到乘潮水位的计算中,降低乘潮水位计算对高性能集群的依赖性,降低计算的硬件成本;灵活性方而,改变了一体式的计算模式,可以根据计算需要,提高局部乘潮水位计算区域的效率和精确度;在任务控制模式方面,改进后的任务控制算法,可以提高任务分配的合理性和科学性,从而提高乘潮水位计算的效率。实验结果证明:基于Spark的乘潮水位任务控制模式能够提高乘潮水位计算的效率,提高任务计算的速度。本文主要的研究内容和工作如下:1.研究目前云计算技术的发展和应用情况,以及云计算技术在海量海洋环境数据处理上的优势,结合海洋环境处理典型应用——乘潮水位计算的业务模式和计算特点,研究将Spark并行计算框架应用于乘潮水位任务控制的模式。2.针对传统集群一体化计算的缺点,设计和实现了乘潮水位计算Web交互系统,增加了乘潮水位计算的灵活性、伸缩性和交互性,并支持对乘潮水位计算结果可视化的交互浏览和无级缩放,达到使用云平台进行海洋环境信息处理的目的,为直观展示和分析海洋数据,挖掘和研究海洋规律提供更高效更快速的手段。3.对乘潮水位计算过程进行监控,了解各个计算任务的节点分配情况。4.在研究Spark原生调度算法之后,结合乘潮水位任务计算的特点,提出一套优化调度算法,以Spark集群计算能力和乘潮水位计算区域的复杂度为调度算法的依据,有效提高了Spark框架下乘潮水位计算任务分配的合理性,使Spark集群的计算效率提高。