网格环境下作业可靠调度机制的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qwertyuiopgfdsa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着越来越多的计算、存储、信息等资源加入到网格环境,网格的动态性、自治性和异构性更加明显。网格作业调度是网格系统与应用主体的关键纽带,它的可靠与否不仅影响着网格系统的成败、效率,同时也直接决定网格用户的参与和接受程度,制约着网格技术的应用和推广。为了保证动态网格环境下作业的成功执行,保证网格系统的服务质量,可靠的作业调度是一项重要而又亟待解决的难题之一。在网格系统中,各个组成部分相互关联。因此,作业调度离不开其它部分的协同工作,要实现动态网格环境下作业的可靠调度需要解决多个关键问题,包括:可靠的资源发现、可靠的资源选择以及有效的容错机制。如何在动态的网格环境下保证作业的可靠调度是本研究的重点。首先,可靠的资源发现是作业调度的前序步骤和基础,网格环境下的资源发现由网格信息服务完成。为了提高资源发现的可靠性,提出了基于DHT(Distributed Hash Table)和本体的网格作业执行资源的可靠发现机制(reliable DHT-and Ontology-basedInformation Service for grids,简称DIS)。在DIS中,网格资源以虚拟组织为单位加入DHT环,消除了层次结构中的单一失效点和性能瓶颈;本体能够以一种明确的、形式化的方式来表示领域知识,提供共享的、精确定义的术语源,并且有良好的概念层次结构和对逻辑推理的支持。网格和语义本体技术的融合提高了资源发现的准确性和完整性,保证了资源发现的可靠性。实验证明DIS在动态的网格环境下提高了资源发现的可靠性。然后,通过对网格资源运行特征的研究,提出了基于数学模型的网格资源故障模拟器,通过变化输入参数,可得到不同的资源故障模拟日志,为网格系统设计、研究和性能测试提供了依据。提出了基于Markov链的资源可用性预测模型,可以有效地预测资源节点在未来时间段内的可用性,为下一步的作业调度提供可靠的资源信息。基于资源可用性预测,提出了可靠的网格工作流作业调度机制(Dependable Grid WorkflowScheduling mechanism,简称DGWS)。DGWS基于表调度和组调度,首先对DAG(Directed Acyclic Graph)子任务进行优先权排序和分组,然后以组为单位进行基于可靠性代价的调度。在满足作业QoS(Quality of Service)请求下,DGWS将子任务调度到可靠的资源节点,提高了作业运行的可靠性,同时也保证了资源负载的均衡性,避免所有任务都调度到少数可靠性高的资源节点。实验结果表明DGWS在完成时间和成功率上都有很大的性能改善,提高了网格工作流作业调度的可靠性。再次,针对网格可分割作业,提出了动态网格环境下可靠的可分割作业调度机制(Reliable Divisible Job Scheduling mechanism,简称RDJS)。RDJS采用基于UMR(UniformMulti-Round)的可靠多路可分割作业调度算法。RDJS动态地监控网格资源的变化(包括资源的加入和离开、资源性能的波动),当资源发生变化时,通过性能检测与评估,及时地对剩余作业进行再调度,提高作业调度的可靠性。实验结果证明RDJS可以很好地适应网格环境的动态性和异构性,提高可分割作业调度的可靠性。最后,论文还从从容错角度出发,探讨了如何采用有效的容错机制,来保证动态网格环境下作业的可靠执行。基于资源可用性预测和作业特点,提出了一种适用于网格环境下的优化检查点容错机制(Optimistic Checkpoint Mechanism for Grids,简称OCM4G)。为降低检查点开销,OCM4G仅对容易失败的作业进行检查点容错,而不是全部作业;同时,对于需要检查点容错的作业,OCM4G集成了定期检查点和非定期检查点的优点,权衡检查点开销和作业丢失率,寻找最优的检查点间隔。实验结果表明OCM4G能够提高作业的成功率、降低对资源的消耗。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
第十九届全国发明展览会于2010年9月8日在西安曲江国际会展中心开幕。本届展览会共展出来自全国23个省市区及港台地区的1700多项发明成果。其中科斯特(厦门)节水设备有限公司的
最近,日本研制成功一种新型水泥——富C2S改性水泥。这种水泥具有水化热低、强度高、不浸白、抗碳酸盐化的优点。
对等(Peer-to-Peer,简称P2P)技术己在流媒体、文件共享、内容分发、分布式存储、分布式计算等众多领域得到了广泛应用,但仍然存在很多需要研究的问题。对等网络的动态性、开
【编者按】2010年5月8日是何世英先生逝世20周年纪念日。何老是《天津中医药》(原天津中医)杂志创始人之一,曾任第一任主编,为本刊的发展打下了坚实的基础。何老中医理论深厚、临
卫生部部长陈竺提出要打破中西医的壁垒,卫生部副部长、国家中医药管理局局长王国强发表讲话提出,大力推进中西医结合,继承和发展中医药事业。这是党和政府的一贯方针,要明确
党的十六届六中全会关于落实科学发展观、建设和谐社会中提出建设和谐文化的要求。作为企业如何建设和谐的企业文化,构建和谐企业,实现科学、持续发展是当前和今后研究的重要课
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
俗话说:远亲不如近邻。邻里乡亲门挨门、地靠地地住着,有个大事小情,还得是邻居帮忙照应。可处好了行,亲亲热热象一家人,要处不好兴许会鸡飞狗跳,谁都不自在。大家说:这邻里