论文部分内容阅读
在计算机硬件价格下降、计算机网络拓扑发展的情况下,分布式计算机系统给用户提供了一个丰富的资源集合。因此,将多台计算机组织起来进行协同工作来模拟一台功能更强大的计算机也就成为进行大规模计算的主流,集群技术应运而生。目前应用最为广泛的集群计算技术可以分为3大类:高可用性集群技术、高性能计算集群技术和负载均衡集群技术。负载均衡集群可使负载在集群中尽可能平均地分摊处理,充分利用集群内各节点机的处理能力,提高对作业的处理效率。目的就是通过各种软硬件手段提供一种廉价有效的方法来增加集群中各个节点的吞吐量,提高数据处理能力,同时又可以避免单点故障,保持节点之间的负担均衡。 通过硬件来实现负载均衡比软件产品运行的快但是价格较高,因此负载均衡算法的研究是热点中的热点,算法也就有了多种多样的形式,最基本的负载均衡算法主要有三种:轮循算法(Round-Robin)、最小连接数算法(LeastConnections First)和快速响应优先算法(Faster Response Precedence)。 但是由于现在的集群系统越来越复杂,而当前没有一种有效的计算节点负载的算法支持集群的复杂性,导致集群容易出现负载颠簸和负载成群的问题。为了解决这个问题,本文在现有算法基础上,研究不同的集群负载均衡技术,提出了一种自适应负载均衡算法(DAA),该算法由3个部分组成: 1、节点相对负载的计算方法:可以计算出每个节点的真实负载; 2、负载信息收集算法:能够有效的获得集群中每个节点的负载值; 3、资源调度算法:根据每个节点的负载值进行自适应调度作业资源。 本文基于作业管理系统LSF(Load Sharing Facility负载共享软件)对自适应负载均衡算法(DAA)进行实现和评价,并设计和实现了以DAA算法思想为核心的调度器Scheduler。通过初步的实验结果表明这样的方法可以得到令人满意的效果。