论文部分内容阅读
随着计算机技术和网络技术的发展,以及日益增长的计算力需求,诞生了网格计算。构建一个网格系统,需要研究信息服务、数据管理、安全机制等技术。资源管理对高效合理利用计算资源起着十分重要的作用。网格资源具备动态性、异构性和自治性的特征,需要对网格资源管理和调度的关键技术做相关研究。网格资源的动态性、异构性、和自治性,使得网格资源提供者和使用者具有对等网络的特点,因此有必要将对等网络方法引入到网格资源管理中。为此,本文基于对等网络技术提出了一系列网格资源管理和调度策略。根据网格的发展历史以及研究工作的针对性,网格可以划分为两大类,一类是专用网格,例如计算网格;另一类是通用网格,即在业界参与之下基于Web服务和OGSA的网格系统。本文的研究工作适用于这两类网格的资源管理和调度。本文首先介绍了网格资源管理和调度策略的一些基本概念和主要的研究内容,然后结合网格自身特点和发展趋势,对其中的几个关键问题进行了深入的研究,包括网格系统的体系结构,网格资源信息的表示方法、资源管理和调度算法,以及负载均衡。为了验证本文提出的模型和算法的有效性,基于网格实验平台DDGrid——新药研发网格,我们进行了大量的实验,实验结果证明了本文提出的模型和算法的有效性。本文的贡献和创新性工作主要体现在以下几个方面:1.首先,在分析了网格自身特点和发展趋势的基础上,本文将对等网络方法引入网格的资源管理和调度,结合对等网络的完全分布式的资源管理方式的优点,设计了基于超级结点对等网络的网格资源管理体系结构。这种集中式和分布式的混合结构设计,能够解决现有网格系统采用的集中式管理的容易引起的单点失效、性能瓶颈等问题,从而可以更好地描述网格资源的动态性、自治性等特点,使网格系统具有更强的鲁棒性和自适应性,并且有利于制定优化网格资源管理和调度的策略、算法。进一步地,根据网格资源提供者的IP层信息生成含有路由信息的overlay network拓扑,并且使用有向图表示该拓扑结构。这种使用有向图进行网格拓扑结构表示的方式在能够准确描述网格资源提供者的计算能力的同时,还能够弥补其他现有的资源信息表示模型的overlay层路由信息不能精确反映IP层路由情况的不足,同时这种简单的描述方式利于网格资源调度器发掘网格资源提供者和网格任务之间的对应关系。2.提出了基于树匹配的nTreeMatch算法。算法结合DAG图的任务表示形式,通过树形数据结构匹配的方法解决了网格资源和网格任务间的映射问题。同时算法充分利用overlay拓扑中结点的路由信息,以轻量附加开销来有效减少overlay层上的路由跳数,使得overlay层上的路由跳数尽量接近IP层上的路由跳数,降低RDP。理论和模拟实验表明在大规模的网格系统中,算法在进行资源调度时可以获得较高的路由效率,为路由的状态与效率折衷问题提供了一个可行的解决方案。该算法尤其适用于为特定的科学应用而设计的专用计算网格的资源调度。3.针对基于Web Service的通用网格系统的资源调度,本文提出了基于资源发现的GChord算法。考虑到网格的动态性特征,GChord算法采用服务发现的方式解决资源调度问题,将资源需求按照Chord路由协议在网格中转发,改变了传统的集中式调度方法采取的信息收集方式,能够实时反映网格结点的工作负载状态,有效解决由于信息过时、数据不一致而引起的任务再调度问题。实验证明,GChord算法可以实现网格系统的实时资源调度,并且使得网格系统保持良好的负载均衡状态。4.为解决网格资源调度中动态负载均衡的挑战,在研究了多代理技术和网格计算相互融合的发展趋势的基础上,本文提出了基于多代理协同计算的rwAgent算法。算法利用多代理技术,通过代理的自治性和智能学习,实现网格资源的分散调度,同时可以获得很好的负载均衡效果。严格的数学建模和理论分析证明,rwAgent算法可以实现资源调度过程中网格系统的全局负载均衡,实验结果证明了算法的有效性和优越性。