大规模分布式环境下集群管理系统的研究与实现

来源 :西北工业大学 | 被引量 : 0次 | 上传用户:dsf922
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机和网络技术的迅猛发展,基于对等结构(Peer-to-Peer,P2P)的大规模分布式系统迅速发展起来,成为占用Internet带宽最大的网络应用。越来越多的个人计算机通过有线网络或无线网络连接到一起。在这样一个高度网络化的时代,如何有效地利用这些分散的资源,如何保证服务的质量,如何实现“网络就是计算机”的目标,已经成为下一代互联网的重要研究课题。将大规模、高度动态、高度异构的各种计算结点组织到一起,提供高可扩展性、高有效性、高性能的互助服务是P2P技术研究的基础课题,而基于P2P技术的上层应用也相应地大量产生,目前主要集中在简单易用的永久存储系统和即时消息系统以及多人协作系统。本文对P2P技术在作业管理上的应用进行研究和实现。本论文由一个国际合作项目资助,该项目采用分阶段实施的方式,目前已经历了三个阶段。第一阶段是研制客户/服务器体系结构的作业管理系统—JC原型;第二阶段旨在实现集群异构系统支持和高可用性;第三阶段则是在广域网及Internet上探索JC系统的资源共享技术。作者的研究内容主要集中在第二和第三阶段,目前项目已基本通过验收。本文以项目第一阶段完成的作业管理系统JC为应用对象,系统地研究了大规模分布式环境下集群管理系统的理论与方法。通过对集群和P2P技术的深入研究,并将它们融入到的作业管理系统中,实现了可调度的多层集群的过程化作业网络模型,以及基于P2P网络路由协议PHB的作业管理系统Peer-JC。论文中的主要工作和创新点如下:1.研究并建立了作业管理系统中的集群管理体系将网络结点按照层次的观点分为超级结点、服务结点和客户结点。有效地将高度动态、高度异构的各种结点组织到一起。结点的高度动态、高度异构既反映了结点的计算能力、内存大小、连接带宽、网络滞留时间等能力的不同,也表明结点的使用目的不同。2.提出并实现了可调度的多层集群的过程化作业网络模型首先提出了可调度的过程化作业网络概念,然后在其基础上提出了“全局调度—静态调度—动态调度”的三层负载平衡调度模型。该模型适用于大规模、高度动态、高度异构的网络。第一阶段实现全局调度,即在PHB(Prefix Hybrid)覆盖网上进行调度;第二阶段将作业网络进行解析和调度,即在对等的机器列表中进行调度,称静态调度。根据作业网络,作者提出了一个基于作业网络DAG(Directed Acyclic Graph)模型的静态调度算法,该算法是对动态负载平衡算法的扩展,用于作业网络的静态负载平衡;第三阶段将作业进行在机器组间的调度,也称动态调度。3.研究并提出了适于作业管理的P2P的网络协议在结点三层结构上,基于结构化覆盖网及分布式哈希表DHT,提出了具有前缀特征码匹配特性的混合P2P网络路由协议PHB,将高度异构的各种计算结点组织到一起。本文给出了PHB的详细构造方法,并论证了PHB的路由算法在3跳内可完成。4.研究并建立了基于P2P技术的大规模作业管理系统Peer-JC将作业管理系统架构在P2P覆盖网上,设计和实现了具有P2P特性的Peer-JC系统,使其适用于大规模分布式环境。可充分利用高度动态、高度异构的网络边缘资源并提供更广泛的服务。5.研究并设计了Peer-JC系统的高可用性作者在分析当前集群技术的基础上,提出了高可用性作业管理系统的实现模型。根据该模型,作业管理系统作为虚拟服务运行在高可用性集群上;一旦出现故障,可以透明地进行故障转移。当故障消失时,可以进行故障恢复,能保证作业运行的连续性和可用性。并且按照该模型,给出了在MSCS集群上具体的实现方案。6.研究并设计了Peer-JC系统中的PHB复制算法设计了利用PHB特性的复制算法,提出了利用DHT特性的复制算法,验明了其在PHB中的有效性。与现有的其他复制算法相比,该算法具有复制数目少,对PHB性能提高的贡献大等优点。以上研究工作将对集群及P2P技术的发展和应用产生积极的影响。
其他文献
目的探讨腹腔镜下行全胃根治术治疗胃上部癌的临床价值。方法分析该院2007年10月至2010年10月收治胃上部癌患者143例,其中行全胃Roux-Y切除术79例(TG组),行近侧胃切除术64例(PG
随着复杂产品多学科分布式协同设计和管理需求的增长,企业内部和不同企业之间的设计资源重用和设计协作成为现代产品设计发展的趋势。但是,不同设计系统在设计资源知识表示和
最爱"惹事生非"的科学家,最"不务正业"的中科院院士何柞麻恐怕是目前中国最爱"惹事生非"的科学家,也恐怕是"上镜率"最高的科学家。因此,无疑也是争议最多,新闻最多的科学家之
论文工作针对基于内容的中草药植物图像检索问题,在系统分析已有关键技术及发展趋势基础上,对中草药植物叶子图像的领域特征提取、层次化检索策略、基于显著轮廓曲线的图像检
本研究利用老年大鼠作为自然慢性血瘀模型,观察(庶虫)虫对其活血化瘀作用及红细胞免疫功能影响。结果显示:(庶虫)虫能明显降低衰老大鼠的全血比粘度、血浆比粘度和红细胞压积
新的研究显示,孩子出生时父亲年龄越大,他们长大后患精神分裂症的可能性就越大。
目的:探讨布洛芬及吲哚美辛治疗婴儿动脉导管未闭(PD A )的疗效及并发症的差异。方法全面检索不同数据库有关布洛芬及吲哚美辛治疗PDA的随机对照研究,筛选出符合条件的文献,对其研
<正> 1999年11月17日,中国科学院新增选的院士在北京揭选——70岁的张本仁教授当选为中科院地学部院士。张本仁教授作为我国地球化学事业的第一代开拓者,建立了具有我国特色
本文介绍了同步跟随与定长切割系统的机械结构及控制系统硬件的组成。在此基础上介绍了系统软件流程,并给出了主要控制模块的梯形图。系统硬件结构简单,响应速度快,切割精度高,运
为适应生态环境部门垂直管理改革,进一步规范乡镇(街道)环保机构运行管理,本文以成都市为例,研究了乡镇(街道)环保机构运行模式、工作机制以及基本保障等,提出优化对策建议。