共享云环境跨层次协同资源调度方法研究

被引量 : 0次 | 上传用户:sunj2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算的发展,其业务量呈现持续性增长的趋势,业务内容不断多样化。同时,随着集群中底层资源的更新换代,硬件异构性不断提升,共享云中的资源竞争难以刻画,进一步加剧了应用运行环境的复杂性,给资源调度构成了严峻挑战。在此背景下,资源管理系统(Resource Management System,RMS)呈现出去中心化的发展趋势,松耦合、多层次的特点日益凸显,资源调度策略更加丰富,优化目标更加多样。高效的资源调度不仅能够减少各应用间共享资源导致的性能干扰,保证优质的用户体验;而且能显著减少资源碎片化现象,提高数据中心资源利用率和云服务提供商的经济效益。针对当前调度系统软件栈中跨层次决策信息缺失导致的调度效率低下问题,提出了基于纵向标签的时空共享调度抽象,设计并实现了面向云操作系统(Cloud operating system)和应用框架的协同调度机制TPShare。由于当前调度系统软件栈涵盖了应用层、云操作系统、虚拟层和操作系统等多个层次,而各层次的调度策略、执行机制缺乏协同性、互补性,往往导致其调度效率的损失(如资源利用率低,应用性能易受损失)。为解决该问题,TPShare调度方法的主要贡献包括(1)设计了基于纵向标签的时间/空间消息传递机制,实现了云操作系统与应用框架间跨层次通信,有效提高了性能攸关信息的感知度;(2)提出并设计了细粒度的资源供给优化方法,实现了资源按需供给,提高了云操作系统吞吐量;(3)设计了负载感知的资源过滤方法,提高了调度质量;(4)设计了应用端全局资源感知的资源扩展方法,提高资源利用效率,并降低了应用尾部延迟。针对当前调度系统中调度延迟和调度质量难以平衡的问题,提出了一种基于B+树和BSP(Bulk Synchronous Parallel)模型的集中式调度器设计方案Treator。为降低集中式架构下的高调度延迟,去中心化架构模式得到了更多关注。一方面,去中心化架构下多个调度器实例可以有效分摊资源请求,减少排队等待;另一方面,潜在的访问冲突往往使其调度决策局限于资源子集,因而缺乏全局最优性。为解决该问题,Treator方案的主要贡献包括(1)根据传统B+树层次化强,富有动态性的结构特点,设计并实现了集群资源信息的有序化存储,减少了资源检索开销;(2)设计了面向用户的策略标签机制和自动化配置模块,提高了集群调度层资源分配策略的灵活性,保证了调度决策的质量;(3)首次将数据库领域的关键技术方法转化运用到资源调度领域,赋予前者的相关操作以调度语义,实现资源调度功能。同时,设计了基于块同步并行处理模型的资源分配方式,实现了多线程无干扰的并发处理,提高了单位时间内的调度能力,进一步减少了作业排队时间。针对共享云中资源预留策略导致的资源碎片化问题,设计了面向Executor-based数据分析系统的CPU时间碎片回收和再利用机制Para。由于资源过分配现象普遍(资源分配量往往大于实际使用量),闲置资源在物理(即大小)、时间维度上呈现高度动态性,且资源管理系统与应用之间的运行时语义鸿沟广泛存在,导致了当前RMS中资源“占而不用”问题突出,对碎片化资源的开发利用难度大。为解决此问题,Para方案的主要贡献包括(1)根据面向运行实例(如Spark中的executor)的资源分配与任务调度相解耦的特点,提出并设计了基于任务调度事件的资源状态监测方法,及时准确发现空闲CPU资源;(2)提出了应用运行实例和资源管理系统之间的资源状态通信方法,提高了RMS对应用层资源碎片的感知度;(3)设计并实现了面向高优先级作业的碎片化资源回收和面向低优先级作业的投机式调度机制。实验证明,Para不仅有效提高了集群任务吞吐量和资源利用率,而且保证了高优先级应用的性能。提出的跨层次调度协同方法主要针对应用层和云操作系统层,并涉及节点操作系统所管理的资源状态信息和资源隔离机制(即Cgroups),但尚未考虑共享环境下虚拟层和操作系统中的资源调度机制及相应的协同优化研究。作为未来工作,节点操作系统(如Linux)中的调度器设计和优化将作为重点研究对象,如面向应用和体系结构的进程调度等。
其他文献
<正>学界对世界文学概念的追溯往往绕不开1827年歌德寓言式的宣告:“民族文学在现代算不了很大的一回事,世界文学的时代已快来临了。”(1)实际上,仅仅就这个术语的产生来说,歌德不是最早的提出者,与爱克曼(J. P. Eckermann,1792—1854)的谈话也不是他第一次谈及世界文学,国内外已经有学者对此进行了说明。但不可否认的是,歌德对世界文学概念的确立和传播起到了巨大的影响。1848年,马
期刊
2019年,智慧景区建设迎来新的进展:新的智慧景区逐渐增加,同时,旧智慧景区也一直在现有技术基础上寻求突破为了更好的呈现。现在大家出行旅游的时候,在选择过程中也更倾向于智慧化程度较高的景区,因为现在移动支付带给人极大的便利,因此人们更倾向于手机能够解决一切的景区。本文根据一份近期智慧景区的排名,因为其丰盛的智慧化成果而位居于全国第一位的故宫博物院为例,从导航平台、导游平台、导览平台和导购平台四部分
期刊
高中数学解题方法多种多样,其中联想方法在解题中应用广泛.联想方法指通过联想基础知识、解题经验进行解题的一种方法.教学实践中,教师应认识到联想方法的重要性,结合教学内容做好相关习题的筛选,展示联想方法在解题中具体应用,使学生更好地把握解题关键,提升解题能力.本文立足高中数学函数习题,展示联想方法的应用,以供参考.
犬眼结膜腺瘤样增生症郑春敏章贤忠许迪方爱国(同济医科大学实验动物学部,湖北武汉4300301症状19例观赏犬,因眼内眦长出新生物而就诊。犬龄3~14个月,据畜主叙述病例眼先红、流泪,继之长出淡红色肿物。在1周左右时间里,肿物长到0.5~0.8cm,以...
期刊
为考察特殊儿童假装游戏的教学干预效果,探究影响干预效果的相关因素,对18项单一被试研究进行了元分析,采用提高率差异和非重叠对占比考察干预的整体效果以及假装游戏类型、被试特征、干预方案对干预效果的影响。结果发现,教学干预能够在中等程度上提高特殊儿童的假装游戏水平,干预对替代行为的促进作用显著高于对功能性假装、连续假装行为和语言假装的促进作用;4岁及以上年龄组的干预效果显著优于4岁以下组;每次干预时长
制造业在国民经济中占有举足轻重的地位,近几年来制造业逐步向智能化、先进化的方向发展。作为制造业的核心,数控技术也在发生着巨大的变化,从传统的封闭开环控制方式,向完全开放、完全闭环控制方式发展。随着数控技术的发展,不但促使了数控技术的持续进步、提高了产品的质量,而且还建立了相应的智能制造系统,有效地提高了国内制造业的总体水平。本文深入分析了传统制造模式的劣势,探讨了智能制造技术应用优势,阐释了智能制