云计算环境中工作流调度、可靠性与能耗优化研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:nihaonan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学计算是当下科学研究与工程实践中的重要环节,通常包含了海量异构的计算任务和数据。科学工作流是面向大规模科学计算任务的重要解决方案之一。随着科学计算复杂度的不断提升,科学工作流的复杂度随之增加,其规模也不断增大,对计算资源的需求呈现剧增的趋势。云计算是一种新兴的计算资源服务模式,它可按照用户需求提供计算、存储等计算机系统资源,并按用量收费。其中,基础设施即服务(IaaS)云能够通过网络以虚拟机的形式向用户提供海量的计算资源,能够满足科学工作流对计算资源需求,因此受到了广泛的关注。作为一种新兴的计算服务模式,云计算在计算资源提供方式、计费模式等方面不同于传统的高性能计算系统,这些差异为部署其上的科学工作流的服务质量,可靠性等问题的研究带来了新的挑战。本文围绕IaaS云服务环境中的科学工作流,研究包括调度、可靠性和能耗在内的若干关键问题,文章主要工作内容和创新点包括:(1)针对IaaS云服务环境中性能约束下成本优先的工作流调度问题,提出新的嵌入QoS预测参数的元启发式调度算法。考虑到现有工作流调度算法普遍将云服务QoS作为一个恒定参数参与调度优化建模求解过程的局限性,本文提出的算法充分考虑计算资源QoS波动带来的违约问题,采用ARIMA时间序列模型对云系统的历史QoS参数进行序列化处理和趋势预测。根据任务完成时间和QoS预测参数等启发式信息,运用智能优化策略,针对异构IaaS云服务系统设计嵌入QoS参数趋势预测机制的科学工作流调度算法,在保证执行时间约束的条件下优化工作流执行总成本。实验表明,相比现有算法,考虑QoS波动性的算法具有更高的资源效率和更低的违约率。(2)针对IaaS云服务环境中预算约束下的工作流可靠性优化问题,本文充分考虑科学工作流的结构特点和IaaS云服务系统资源颗粒度异构性,指出在使用IaaS云资源和主动容错技术为科学工作流单个节点进行容错时存在三种不同的方案,并分别对使用三种方案优化科学工作流可靠性的问题进行建模分析,充分发掘使用异构云计算资源提高工作流可靠性的潜力。(3)针对IaaS云服务环境中预算约束下使用不同的主动容错方案优化工作流可靠性,提出了三种不同的优化模型。本文中证明了三种主动容错方案均为NP难,属于混合整数非线性规划问题(MINLP),并使用约束编程(CP)对使用三种主动容错方案的可靠性优化问题进行求解。(4)通过对工作流可靠性优化问题目标方程进行适应性调整,提出了基于Max-Min方法的求解算法,实验表明,使用Max-Min方法同样能够有效地使用主动容错方案优化科学工作流的可靠性。同时,本文还采用了一种元启发优化算法(GA-WFT),GA-WFT采用进化的思想,分别为不同的主动容错方案设计了全新搜索方法,对包括种群选择和进化策略在内的迭代搜索过程进行改进。实验表明GA-WFT在保证优化目标逼近CP方法的同时,具有更快的搜索速度。(5)针对部署于混合云环境中的科学工作流的整体成本问题,提出一种提高私有云数据中心能效的方法。私有云能耗成本是基于混合云的工作流执行成本的重要组成部分。降低私有云能耗成本能够降低科学工作流执行成本。基于虚拟机合并技术,本文提出一种对数据中心中待迁移虚拟机进行选择的方案,同时提出了一种兼顾虚拟机迁移成本和迁移对数据中心整体性能影响的虚拟机放置方法。仿真结果表明,该方案能够有效降低数据中心能耗,同时将SLA违约率控制在较低的范围,相较传统方法更加有效。
其他文献
结构决定功能。材料通常存在缺陷,而位错作为一种线缺陷会大量存在于晶体材料内部,人们可以借助于透射电子显微镜观察到位错在材料中的微观图像。位错可以视为晶体中已滑移部分和未滑移部分的分界线。它作为一种拓扑性质缺陷,会很大程度影响材料的物理性质,尤其是力学性能的改变。随着科技的发展,人们已不再满足于单一元素构成传统材料,复合材料的研发,已经成为了主流。复合材料通常有两种或两种以上材料构成。其粘合的界面处
工业园区是我国工业发展的重要载体和强大引擎,是实现碳达峰和碳中和目标的重要抓手。本文以青岛高新区为研究对象,编制了2016—2020年该园区的温室气体排放清单,通过情景分析探讨了其碳达峰路径,并为中国工业园区的低碳发展提出了低碳发展政策建议。研究显示,2016—2020年,青岛高新区碳排放总量从32.88万t增加至43.78万t,碳排放强度由0.47 t/万元降至0.36 t/万元。工业能耗是青岛
随着“一带一路”、长江经济带、西部开发等国家战略的推进,我国已建和待建桥梁数量众多,服役期内桥梁的安全问题也日益突出。桥梁的安全性与其承受的荷载以及自身的承载能力密切相关,而两者具有显著的随机性,可进一步通过可靠度研究对其安全水平进行评估。同时,服役期内桥梁承受的荷载以及自身的承载能力与时间相关,其可靠度具有时变特点。因此,掌握服役期内桥梁可靠度时变规律意义显著。由于大跨度悬索桥在区域交通中占据重
图像是人类获取信息的主要来源。由于客观因素制约或者不恰当的处理,图像在经过生成、传输或存储步骤后,最终获得的图像可能是含有噪声、模糊、对比度过低等特征的退化图像,这严重影响图像分割、识别、理解等后续处理的质量。因此,人们需要通过图像去噪、解模糊等图像复原技术尽量还原真实的图像。然而,从数学角度看,图像复原是一类反问题(inverse problem),是不适定的(ill-posed),因此图像复原
干热岩地热储层埋藏深,具有低孔隙度、低渗透率等特性,为实现经济开采,必须对其进行改造。基于此,科学家提出增强型地热系统EGS(Enhanced Geothermal System)的概念,通过人工方法(水力压裂)形成具有一定导流能力的地热储层,从而高效、经济地开采地热能用于发电。干热岩储层一般含有天然裂缝且构造应力高,水力压裂缝网扩展复杂,呈现张拉和剪切复合的模式,且存在诱发地震的安全风险。因此,
网络空间如今在我们生活中每个方面都扮演着关键的角色。人类生活中许多重要的基础设施,包括交通网络、通信网络、互联网等都属于网络空间中的一部分。然而,网络空间是一把双刃剑,网络空间的出现为一些网络攻击提供了平台,一些恶意分子利用网络基础设施来实施网络攻击,造成了严重的后果。因此,维护网络空间的安全性具有非常重要的意义。网络空间一直受到恶意传播行为的威胁。网络空间中存在各种各样的恶意威胁,其中计算机病毒
2015年LIGO首次直接探测到双黑洞并合产生的高频引力波,这进一步支持了爱因斯坦(Einstein)广义相对论。双中子星并合产生引力波的同时还伴随着电磁对应体辐射,这为天体物理的研究提供了新的窗口。目前针对引力波的研究,包括理论研究和实验探测,主要集中在中高频波段10-4-104 Hz。甚高频引力波的研究尤其是微波频段108-1010 Hz是非常有意义的。宇宙早期的随机引力波背景携带着早期宇宙的
近年来,随着我国大容量公共交通设施(高速铁路、城际轨道、城市轨道交通等)的快速发展,以及新能源交通工具的大力推广,绿色交通有了长足的发展,但距离碳达峰、碳中和目标(以下简称"双碳"目标)仍有一定差距。当前我国城市交通在实现绿色发展路径上面临着哪些挑战?如何创建更加安全畅通的道路交通环境,提升出行体验感?近日,
期刊
纳米金属因其独特的结构和优异的性能而备受关注,其塑性变形机制及其微观结构不稳定性是当前纳米材料领域研究的热点,但仍存在诸多争议,原因之一是无法精确、定量地表征纳米金属的三维微观结构。本文进一步发展和完善了基于透射电子显微镜的三维晶体学取向重构技术,开发了系列处理三维晶体学取向数据的程序,实现了纳米金属多种微观组织参数的全方位、多尺度、高通量表征。以该技术为基础,耦合透射电子显微镜中的原位加载技术,