【摘 要】
:
近年来,随着气象信息化进程不断加速,气象行业内部需处理的气象数据与日俱增,从而产生了大量的数据存储问题,如何对气象数据进行合理有效的处理与存储成为推动气象数据信息化和智能化的关键问题。云计算作为资源处理方式的重要技术手段,可以将大量的任务和数据通过云端进行计算与存储,节省本地的资源,且在云计算中心可以随时进行获取所需信息,因此构建一个气象专有云平台可以有效的解决目前气象数据存储的问题,推动气象行业
【基金项目】
:
国家自然科学基金:基于Hadoop的气象云存储与数据处理平台的研究(基金号41275116); 国家自然科学基金:云计算环境下大数据驱动的工作流调度关键技术研究(基金号:61702277);
论文部分内容阅读
近年来,随着气象信息化进程不断加速,气象行业内部需处理的气象数据与日俱增,从而产生了大量的数据存储问题,如何对气象数据进行合理有效的处理与存储成为推动气象数据信息化和智能化的关键问题。云计算作为资源处理方式的重要技术手段,可以将大量的任务和数据通过云端进行计算与存储,节省本地的资源,且在云计算中心可以随时进行获取所需信息,因此构建一个气象专有云平台可以有效的解决目前气象数据存储的问题,推动气象行业的发展。当前在气象专有云的数据布局的研究工作中,重点关注的是气象云计算平台的底层构建,通常忽视了数据布局优化技术对气象云平台运行性能的影响。同时,面向气象专有云的气象数据布局也面临如下挑战:1)在构建气象专有云数据中心时,缺乏分析数据布局与能耗之间的内在制约关系。2)在气象云平台中,忽略了气象大数据与任务之间的内在关联性。3)在混合云计算环境下,如何在保护隐私的基础上将云数据中心的资源调度技术和数据布局相结合,需要更为全面的实现方法。针对上述气象专有云的数据布局所面临的挑战,本文对面向气象专有云的数据布局方法及关键技术展开研究,主要工作包括以下四项:(1)为支撑气象业务系统和各类数据应用,提出了一个针对全国气象行业设计的气象云服务框架,自下而上有四个层次,分为硬件层、数据布局方法层、协同布局技术层、以及混合云平台管理层。具体而言,硬件层作为数据布局的物理资源保障。数据布局方法层用来实现能耗感知的数据布局。协同布局技术层用来实现高能效的气象业务及数据之间的协同布局。混合云平台管理层用来实现支持混合云环境下的高能效数据布局。(2)为了能综合考虑到气象云平台中气象任务的数据访问时间和气象云平台的能耗,提出了一种基于气象专有云平台的高能效数据布局方法。具体而言,首先从气象云平台执行性能的角度出发,建立了气象专有云平台下的资源使用率模型、数据访问模型以及气象专有云平台下的能耗模型。然后通过改进的非支配排序遗传算法(Non-Dominated Sorting Genetic Algorithm III,NSGA-III)实现全局最优的数据放置策略。进一步,使用简单加权法(Simple Additive Weighting,SAW)和多准则决策(Multiple Criteria Decision Making,MCDM)进行解决方案评估,从而获得最优的数据布局方法,实现了数据访问时间的优化以及气象云平台的优化。(3)针对气象大数据环境下气象数据资源存在体量大、动态开放、多源等特征,提出了一种气象工作流和数据协同布局方法。具体而言,首先分别构建了气象专有云平台下的平均数据访问时间模型、网络设备总能耗模型和各节点的负载均衡模型。进一步,选择了非支配排序差分进化算法(Non-Dominated Sorting Differential Evolution,NSDE)对布局策略进行了优化。最后,根据简单加权法和多准则决策算出优化结果的效用值,选取最高效用值对应的布局策略作为最终的气象工作流与数据协同布局策略。(4)从气象大数据隐私保护的角度出发,提出了一种面向气象混合云的数据布局方法。具体而言,首先对气象混合云中的大数据进行成本、访问时间和能量进行建模。然后,面向公有云针对非隐私数据进行启发式布局,优化气象工作专有云服务的租赁成本,提升任务获取数据的时效性。进一步,针对气象专有云中布局的隐私数据,通过分析FatTree网络拓扑结构设计了贪心的数据布局策略,以降低气象云平台整体运行能耗,并同步优化了任务访问数据的时效性。
其他文献
以物观物,可以安身;以物观人,可以安心;以物观天地,可以安神。书房,不只有经史子集,亦有风炉蒲扇、琴棋书画,案头上,笔墨纸砚、篆刻闲章……或在一隅,置石以为乐,可近天地,可览万物,可怡情悦己。须晴日,三五好友来聚,谈笑清言,雅室生香。
我第一次见到的书画印章是生产队时期(上世纪七十年代初),寨子上有一族兄在"三线建设"工地搞宣传,一年回家过春节时带回来两方木头印章,他在他写的书法作品和藏书扉页上加盖,我是被那殷红的颜色和反复钤盖所吸引。当得知是梨子木刻成的后,便萌生了也刻一方的念头。于是,乘着大人出工后,硬生生地把祖母栽在自留地仍未长成的幼年梨树砍掉了一半,费了九牛二虎之力才刻成我人生的第一方印章,
篆刻是以石材为主要材料,以刻刀为工具,以汉字为表象的一门独特的镌刻艺术。它由中国古代的印章制作技艺发展而来,至今已有3000多年的历史。它既强调中国书法的笔法、结构,又突出镌刻中自由、酣畅的艺术表达,于方寸间施展技艺、抒发情感,深受中国文人及普通民众的喜爱。2009年,中国篆刻入选联合国教科文组织评选的"人类非物质文化遗产代表作名录"。
元明以来,文人篆刻家以自己对艺术本质的理解,选择汉印作为篆刻的创作母本,基于此,"印宗秦汉"的观念成为篆刻艺术生发的起点,"雅化"成为文人对篆刻审美语言的自觉规范。在这样的审美理念下,静与美、情与理、古与淡成为印面深层次的品格诉求,从赵孟到文彭,从汪关到林鹤田莫不如此。
中亚干旱半干旱区水资源短缺,是对气候变化响应最敏感的区域之一。中亚地区具有冬、夏季多降水和山区多降水的特征。近几十年,在全球气候变化的影响下,中亚地区降水出现增加趋势;极端降水事件不确定性和强度增加;相关次生灾害和经济损失呈指数上升。1990s左右中亚五国地区台站观测气象数据的中断致使中亚地区极端天气气候事件研究的基础数据和研究成果相对较少,深入研究中亚地区夏季极端降水变化特征及其物理机制,对提高
气候变化导致全球极端天气气候事件频发,作为典型高气象敏感性行业之一,气候变化对旅游业的影响日益凸显。本文从气候变化影响的角度切入旅游业发展的相关研究,以南京市旅游业作为研究对象,主要探讨了不同气候变化影响因子对旅游业的影响,提出了影响旅游的三种极端天气类型,并据此提出了旅游应对极端天气的三种途径,实现了气候变化定量分析与旅游管理定性化归纳的对接。本文还构建了包括旅游、气候、环境、经济和社会指标在内
本论文首先基于观测资料和再分析资料,分析了1979-2013年中国近地层风速的时空分布特征及变化特征,并评估了各再分析资料的重现能力;然后基于观测资料和再分析资料分析了我国夏季风能年际变化特征及影响因子,并定量评估了全球温度和陆表变化对中国近地层风速的影响;最后基于CMIP5模式预估结果,给出了中国风力发电量在全球1.5℃、2.0℃、3.0℃和4.0℃温升背景下的变化情况。主要结论总结如下:(1)
随着信息与通信技术的发展,传统的依赖于纸质化的通信及交流方式因诸多的局限性已慢慢退出历史舞台。在当下,各个组织、单位和个人主要依赖于互联网计算机、智能通信设备等进行信息传输与交流,因此导致用户本地端的数据量逐渐增大,而本地资源受限的存储和计算设备无法满足可持续性的数据存储和处理。云计算是一种新兴的基于网络的计算模式,其通过将分布式资源进行整合并通过互联网为用户提供各种各样的虚拟化服务。云计算技术的