混合云中面向数据密集型应用的服务选择和任务调度方法研究

来源 :武汉理工大学 | 被引量 : 1次 | 上传用户:hebe2010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的发展,社交网络、多媒体服务、金融数据处理等众多信息服务领域的数据量一直在快速增加,针对这些海量信息进行处理的数据密集型应用也引起了人们的广泛关注。该类型应用对计算资源的性能提出了较高要求,传统的集中式计算已无法满足需求,因此高效并行的分布式计算成为研究热点,而云计算技术是实现分布式计算的有效手段。一般企业通过云计算技术构建面向数据密集型应用的处理平台性能有限,作业并发量较大时其效率较低,而混合云技术可以较好的处理这一问题。一方面,混合云可利用私有云满足日常业务需求;另一方面,当处理并发量很大的数据密集型作业时,可以租用公有云来完成服务,这样既可减少服务开销又可避免计算资源的浪费。然而随着混合云的不断普及,用户对其服务质量要求越来越高,传统的调度策略及模型主要作用于单云环境中,对于混合云作业调度的复杂性和动态性考虑不足,在用户需求的约束下并不能达到很好的调度效果,导致混合云服务能力低下、用户满意度不高。为了解决上述问题,本文的主要研究内容包括如下几个方面:(1)针对混合云由于自身结构复杂性而导致调度过程中容易产生作业执行时间和成本无法满足用户需求的问题,本文设计了一种基于人工鱼群算法的混合云服务选择体系结构。在该体系结构下,首先针对作业特征情况为用户作业进行分类排序,然后考虑到用户的截止时间和预算约束,为作业确定服务位置。当私有云资源满足用户需求时,混合云系统会将用户作业全部放入私有云中执行,而当私有云集群无法满足用户需求时,系统会将部分用户作业分发到公有云进行处理,为此本文在最小化时间和成本的目标下提出了一种基于人工鱼群算法的服务选择方法,求解出最优的混合云服务选择方案。(2)针对分发后的作业在执行过程中容易导致集群负载不均从而影响作业执行效率的问题,本文将动态反馈思想引入到混合云任务调度过程中。通过对私有云和公有云各自特点的分析,发现节点性能差异为影响私有云任务调度的主要因素,而节点及集群负载对公有云任务调度影响很大,为此分别设计了基于节点性能差异的私有云任务调度策略和基于负载预测的公有云任务调度策略。然后结合前面的服务选择结果,综合考虑调度情况,提出了一种混合云中基于动态反馈的任务调度策略。(3)根据设计的调度模型搭建混合云集群的实验平台,对以上研究内容进行实验验证。在混合云服务选择的相关实验中,先将本文改进的人工鱼群算法与其他改进人工鱼群算法进行了对比,实验表明本文改进的人工鱼群算法在收敛速度和寻优精度上具有一定的优势;然后从作业完成时间、平均执行费用和用户满意度方面,将本文提出的服务选择方法与其他的同类型算法进行了多组对比实验,结果表明本文的服务选择方法相较其他同类型服务选择方法,其作业执行效率提高了30.6%,而执行费用降低了21.8%,在性能和用户满意度方面都具有一定优势。在混合云任务调度的相关实验中,首先对本文使用的负载预测方法进行了实验,验证了其方法的有效性,然后从任务执行时间、任务吞吐量和负载倾斜率等方面,将本文提出的任务调度方法与其他同类型算法进行了对比,结果显示相较于其他任务调度算法,本文算法的任务执行效率提高了26.5%,而负载倾斜率降低了16.2%,具有较强性能优势。
其他文献
中医药信息化是继承和发扬中华医药的、一项具有深远意义的研究课题。中国传统中药材的识别鉴定方法简单,但过分依赖主观经验知识,错误判断率高;借助现代理化方法对中药材识
近几年来,人工情感技术得到了很大程度的发展,取得了许多研究成果,但距离人工情感进入寻常百姓家还有很长的路要走。本文立足于人工情感技术和Q学习算法(一种强化学习算法)的
合成孔径雷达(SAR)是一种不受天气、光照等各种外界环境影响,并可以对感兴趣的区域进行全天候、全天时侦查的微波探测传感器。自SAR研制成功以来,SAR成像技术得到了快速地发
频谱利用率和功率效率是无线通信系统面临的两个最严峻的挑战。多输入多输出(Multiple Input Multiple Output,MIMO)技术可以在不增加带宽和发射功率的情况下,明显提升整个系
HINOC是一种借助有线电视网同轴电缆,实现高性能双向传输的宽带接入解决方案。HINOC专注于最后100米的同轴宽带接入,经过十余年的前沿技术积累和关键技术攻克,HINOC技术已形
近几十年来,随着人造卫星和雷达技术的迅猛发展,如何设计天基雷达的天线波束灵活快速扫描,以更好地满足军事民事需求,成为了一个重要的研究方向。在天线综合领域,目前已有的
随着人工智能技术的兴起和发展,人工神经网络算法被广泛应用于数据挖掘、模式识别、图像检测、人脸识别等领域,并且在建模分析中取得了非常不错的效果。极限学习机(ExtremeLe
随着5G技术的发展和创新,网络资源数据量也呈现爆炸式的增长。智能终端产品的研发和供给,为移动电子商务(M-Electronic Commerce)的发展创造了良好的契机。移动电子商务推荐
随着互联网以及信息技术的迅猛发展,网络中的信息量也在不断增长并逐渐迈向了大数据的时代。但在海量数据面前,用户往往无所适从越来越难以从中获取到各自感兴趣的信息,已从
正交频分复用指数调制(OFDM-IM)是一种新的多载波调制技术,其子载波具有激活和空闲两种状态,除了在激活子载波上发送星座符号外,还利用空闲子载波的位置传输信息。OFDM-IM与O