Hadoop平台中作业调度算法分析与改进研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:shen41941395
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前云计算已经成为流行的先进技术模式,具有广泛的应用,在云计算的环境下,通过对作业任务进行划分使得各个节点中都有,这样就可以实现作业任务的并行化处理,面对云计算中的海量作业任务如何进行调度和处理成为云计算性能的重要指标,如何保证云计算中的用户任务作业得到有效的处理,使得用户的服务质量(QoS)得到充分的保证,为此,在本文中提出了基于用户服务等级协议(SLA)的作业分级机制和基于QoS约束的多优先级作业调度算法(QoS-MP Scheduler),实现对云计算用户服务质量的保证。针对传统云计算作业调度中简单的优先级设置的不足,在本文中首先对作业调度进行研究提出基于用户服务等级协议(SLA)的作业分级机制。在机制中规定用户需要跟云服务商签订具有详细指标规定的服务等级协议,按照不同的等级对云用户的作业进行分类并将其存储在作业分类器中,标记云用户的作业等级,保证较高等级作业得到优先的处理;接着,设计基于QoS约束的多优先级作业调度算法,在算法中利用云用户作业中的偏好程度来设计优先级值计算函数Priority,在作业调度的时候可以对较高等级的云用户和具有较高优先级的作业得到任务的执行,通过上述方式就可以较好的保证云计算环境下的服务质量。最后,对Hadoop平台中作业调度算法进行仿真实验,并对实验结果进行分析。通过仿真实验,对于具有较高服务等级协议的云用户可以得到优先的任务安排和调度,基于QoS约束的多优先级作业调度算法可以很好的实现在海量任务调度时保证云用户的服务质量,并且算法的平均作业运行时间在合理的范围,作业完成时间和作业调度成功率都在设计范围,可以很好的满足用户的需求,验证算法是可行和有效。
其他文献
近年来,随着大气监测、地物信息反演、军事目标识别等领域对光学遥感信息量需求的增加和遥感信息获取技术的飞速发展,出现了一种新型遥感信息探测技术——偏振光谱成像技术。
重金属污染是公众广泛关注的环境问题。重金属可存在于各种环境介质中,通过接触暴露使人体健康受到危害。因此,快速,灵敏和特异性地测定环境中的重金属的含量具有重要的实际意义。电化学技术用于重金属离子检测具有其本身固有的优势:样品无需复杂前处理即可直接测定,且具有快速,灵敏度高,选择性好,操作简单,成本低,便携性及可现场检测等多种优点。本文利用纳米材料特有的物理化学性质构建具有稳定性良好、灵敏度高、检测快
近几十年来,空间光学遥感技术迅速发展。光学遥感图像由多光谱发展进入到高光谱的新阶段。高光谱图像具有高的光谱分辨率、空谱结合等优点,在民用领域和军事领域得到了广泛应
交通作为连接旅游客源地与目的地的重要方式,为旅游业的发展提供了更多动力。旅游地交通的发达程度直接关系到旅游者的总体支出,进而影响着游客对于旅游目的地的选择,所以对
随着计算机互联网行业的蓬勃发展,互联网所提供的服务已经涵盖了人们生活的方方面面,互联网提供的服务主要通过网页的形式呈现给用户使用,信息搜索已成为互联网中最有价值的
手势动作是肢体活动中最灵活自由、最具表现力、受限度最低的一种动作类型,被广泛地应用在人机交互中。表面肌电信号(Surface,Electromyography,s EMG)是伴随肌肉收缩产生的一种重要生物信号,直接反映人体运动意图,不受环境因素影响。因此,基于s EMG的手势识别成为自然人机交互研究中的热点。自然的人机交互系统不仅要提供机器人与人之间友好的动作交互,而且要提供情绪交互。自动面部表情
学位
随着能源互联网的建设,电网规模越来越大,在带来错峰互补、提高消纳能力等效益的同时,也使得电网的复杂性大大提升,增加了复杂连锁故障导致大停电的风险。因此,采用直流异步
随着卫星技术的发展和空间及光谱技术水平的提高,越来越多的高光谱图像数据需要快速处理,它包含了紫外、可见光、短波红外波段中数百个光谱波段,包含了丰富的地物空间特征,与
中国散裂中子源(China Spallation Neutron Source,CSNS)是一种基于先进加速器技术的先进中子源,它主要由一台80MeV负氢直线加速器、一台1.6GeV快循环质子同步加速器及其前后