分布式环境下主副版本任务可靠调度方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ufod1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算技术和网络技术的发展,以分布式计算、并行计算为基础的分布式计算系统所构建的数据中心和计算中心在工业、商业、科技和军事等领域有着非常广泛的应用。在这些应用中将大量的复杂计算任务分解成为若干个子任务并行处理,最后将计算结果进行有效合并得到最终结果。可以看到在任务的分解和计算过程中,有效的任务调度机制是影响分布式计算系统性能和效率的关键因素,而不合理的任务调度方法会严重影响系统的计算能力,降低并行效率,甚至达不到并行计算应具有的效果。因此任务的调度问题一直是分布式系统、网格系统、云计算系统的核心内容,也是人们一直研究的热点。但是,随着分布式系统规模的不断增加、计算能力不断提高的同时,系统的稳定性和可靠性已成为影响并行应用能否顺利执行的关键。例如在天河二号、Google数据中心等超级计算机或是大规模集群中,由于复杂的上层应用以及系统超高的功耗导致了系统极容易出现故障,因此设计一套完整的可靠性保障机制显得尤为重要,而在系统的调度阶段设计高可靠的调度算法是其中重要的手段之一。本文从“保障性能,提高可靠性”这一目标出发,深入研究如何保障分布式计算系统可靠性与计算资源高效利用问题。论文将任务的类型分为实时周期任务和非实时任务两种任务类型,通过主副版本调度技术,实现了高可靠、高性能的调度策略。具体工作为:(1)针对分布式计算系统的实时任务的可靠调度问题,提出了一种依据计算节点和通信链路可靠性代价的调度算法(DRCAMD)。该方法能通过设置权值的方法来调整系统的目标权重函数,平衡用户在系统的调度性能和可靠性的不同需求,另外,针对具有依赖关系的实时任务的调度问题,本文提出了一种不考虑主版本任务与副版本任务各种重叠状态的可调度分析方法,实验结果表明了在一定的计算节点和通信链路的故障概率条件下,算法的可靠性和性能方面具有一定的优势。(2)针对混合关键任务可靠性调度的问题,基于主副版本调度策略,结合任务关键性等级的处理方法,提出了一种二阶段可靠调度算法(MCRSS)及可调度分析方法。该算法的第一阶段主要是对需要调度的混合关键性任务按照优先级高低进行调度,调度过程中,使用副本重叠的方法减少由于副版本任务的复制所带来的系统开销,第二个阶段是对调度到目标处理机上的任务进行可调度分析,对于不能满足可调度需求的任务进行升级处理,直到能满足任务对截止期的要求。仿真实验表明了MCRSS算法能有效的处理混合关键任务中不同关键等级任务的可靠调度问题,同时保证了分布式计算系统具有良好的灵活性和性能。(3)针对具有优先级依赖关系的DAG任务的调度问题,本文提出了一种基于副版本任务最早完成时间的调度算法(EFTBT),该方法通过分析主版本任务调度的状态以此得到不同情况下副版本任务调度的最早为完成时间以及调度的目标处理机的约束,并证明了该约束的合理性,该方法能够在保障可靠调度前提下获得较好的调度性能,另外,针对科学工作流应用中存在的多个DAG任务同时调度的问题,为了解决不公平导致的多个后续DAG任务无法调度问题,提出了基于分层思想的多DAG调度策略(MDDL),实验结果表明上述两种算法与经典算法相比能有效提高调度的性能。(4)针对大规模分布式计算系统的异构性、动态性的特点,提出基于节点和链路故障特征分析的具有依赖关系DAG任务可靠调度策略,该策略以副版本任务最早完成时间算法EFTBT为基础,给出了更符合实际应用需求的通信模型以及副版本执行策略,建立了分布式计算系统的故障特点分析方法,在此基础上提出了基于通信竞争模型的容错调度算法(RAPA),实验结果表明与HEFT和EFTBT相比,RAPA算法具有较好的性能和可靠性。
其他文献
近几年来,京津冀地区灰霾天气频发,PM2.5污染问题日益突出。基于2014年京津冀地区及周边缓冲区内共156个国家空气质量监测站点的PM2.5逐时监测数据,运用克里金插值法,从年、
在软土地区采用悬臂式支护结构易造成基坑周边地表沉降过大,工程中常采用坑底加固措施达到减少侧向位移的目的。为了得到坑底加固土体对地表沉降的影响规律,首先以弹性地基梁
利用常规探测资料、NECP再分析资料和雷达等非常规资料,对2013年5月15—16日清远特大暴雨过程的环流背景、物理量诊断、雷达回波演变特征进行分析。结果表明:特大暴雨过程发生
引言当前事业单位财政税收中存在、相关工作人员素质较低,税收缴纳不规范、预算管理不完善,票据管理不严格以及监管力度不够,税收流失现象严重的问题.为了进一步解决事业单位
期刊
引言历史经验显示,金融系统的内在脆弱性是造成金融危机的根本原因.能准确地对金融脆弱性进行度量不仅有助于职能部门及时掌握金融系统的稳定性;而且也有助于职能部门选择最
期刊
未来社会对公民的文化素养会有更高的要求,美国教育技术委员会把人的信息素养作为未来的重要素养之一。中学阶段是学生素养养成的重要阶段,让数字化资源走进中学课堂,普及信
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
随着社会信息化的发展,计算机应用深入到了各个行业,网络资源和数据规模不断扩大。在这样的背景下,云计算(Cloud Computing)迅速兴起。近年来,云计算的发展已经上升到包含美
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
近年来,电阻开关(RS)效应由于其重要的科学意义以及在电阻式随机存储器(RRAM)、新的计算机逻辑架构上的应用,已经引起了广泛的关注。众所周知,基于电荷的存储器的发展,如动态随机