容器化集群资源抢占式调度技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wiaoni007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网用户规模和应用种类的爆炸式增长,互联网行业面对的数据规模也飞速扩张,分布式集群的重要性日益升高,在云计算技术逐渐成熟后,分布式集群已经成为几乎所有企业和机构在解决数据存储和处理问题时的不二选择。分布式集群可作为多种工作的运行平台,也需要满足多种工作的需求:包括批处理工作和实时工作,不同种类的工作对于服务质量有着不同的衡量标准。分布式系统的一大挑战在于对批处理工作和实时工作进行调度,在降低实时工作超时率的同时减少批处理工作的执行时间以提升集群中资源紧张时的服务质量。容器技术作为一种新兴的虚拟化技术,对信息安全和资源使用都带来了巨大的便利,已经受到各大公司和机构的欢迎,人们开始选择将集群容器化后进行使用。在容器化集群中现有的调度策略的粒度比较粗糙,通常选择直接杀死批处理工作或者预先为实时工作保留集群资源来降低实时工作的超时率,但这会增加批处理工作的执行时间并降低集群资源利用率。本文提出了一种容器化集群中的调度策略,UpPreempt,它可以做出基于容器挂起的细粒度多容器资源抢占决策。UpPreempt在进行调度时支持较紧急的实时工作从正在运行中的批处理工作上抢占资源,在决定抢占时会考虑截止时间和被抢占容器的资源使用情况,其基本思想是选出多个批处理工作的容器从中回收一部分资源分配给实时工作。通过这种方式UpPreempt不需要预先为实时工作保留资源,也可以让批处理工作不需要重新执行,这样保证了实时工作的服务质量,并提高了批处理工作的表现。本文在Hadoop YARN的基础上实现了一种基于容器集群的资源抢占式调度框架来使用UpPreempt并在阿里云上搭建集群测试它的性能,实验结果显示UpPreempt可以在提升集群资源利用率的同时,在实时工作超时率和批处理工作执行时间上达到很好的平衡,既降低了实时工作超时率,也减少了批处理工作的执行时间。
其他文献
随着语音领域的不断发展,研究人员对发音器官都产生了浓厚的兴趣,并且超声图像的研究也取得了巨大的成就,超声可以在说话人发音时,很好的捕捉到说话人口腔内部复杂的运动过程
现今,基于WiFi信号的室内定位技术已经变得越来越普遍和适用。它不仅方便了人们的生活,还创造了巨大的经济价值。但是WiFi信号在传播过程中,很容易受到墙壁、障碍物以及人群
目的:地塞米松作为一种合成类糖皮质激素(glucocorticoid,GC)可透过胎盘进入胎儿体内,促进胎肺等重要脏器成熟并降低呼吸窘迫综合征的发生风险[1,2],因此被广泛应用于有早产
ZPW-2000A型轨道电路保障着列车的安全运行,是铁路运行设备中不可或缺的一部分。假设轨道电路发生了故障,严重时将会影响行车安全,甚至导致列车相撞等事故,造成人员伤亡和经
随着传统建筑形式向新型结构形式的转型升级,装配式建筑结构具有工厂化生产程度高、构件质量可控、缩短工期、节约资源等优点逐渐被市场广泛认可。其中叠合式剪力墙是装配式
目的 临床妊娠中约15%25%发生自然流产,且大多发生在早期,约1%3%的自然流产会变成重复流产。近年来,自然流产越来越受到人们的关注,尤其是复发性自然流产。造成自然流产的原
青花菜起源于地中海东部沿岸,适应性强,在我国可以广泛种植,萝卜硫素是青花菜中重要的含硫次生代谢产物,其具有极强的促进致癌物解毒、抑制癌细胞生长的功效。硒、硫同为第六
[目的]探究|HCT-ALB|差值在诊断重症恙虫病的可行性,为临床提供一个快捷有效的方法。[方法]采用CRF表格收集2017年1月1日~2018年12月31日云南省15个地州市37家医院收治的408例恙虫病患者临床资料,根据恙虫病诊断标准分为轻症恙虫病组(n=265例)和重症恙虫病(n=143例),以云南省昆明市体检中心健康人群作为健康对照组(n=5000例),分别收集每例患者的HCT值、ALB值
随着云计算技术的快速发展,云计算被广泛应用于各个领域。由于云平台架构的复杂性和工作负载的不可预测性,云监控对保证云平台的高可用性具有重要意义。为了满足云计算平台的
在城镇化进程加剧和极端气候频发的双重影响下,城市内涝形势日益严峻,严重威胁着城市居民的人身和财产安全。而山地城市地势一般陡峭且呈高低起伏变化,地表径流急速而下,城区