大规模容器云平台中的镜像分发与资源调度系统的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wdkkiller
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,以Docker为代表的容器技术因灵活性和实用性等特点而备受青睐,在敏捷开发、应用部署和智能运维等过程中得到了广泛的应用。同时,以Kubernetes为代表的容器编排平台能够帮助企业管理大规模容器集群,辅助执行编排部署、版本更新和健康检查等任务,因此针对Kubernetes的应用与开发也变得日趋火热。Docker容器的运行以镜像为基础,镜像需要通过分发过程被传输到工作节点。在现有Docker镜像分发框架中,镜像被集中存储在镜像仓库,容器引擎作为客户端直接从镜像仓库下载镜像。当集群规模增大时,镜像仓库容易成为性能瓶颈,影响集群稳定性。同时大规模集群中的镜像分发可能涉及到跨机房甚至跨境传输,现有分发框架的C/S模式难以提供较高的传输速率。Kubernetes使用基础编排单位Pod来间接管理容器。Kubernetes资源调度器将Pod与工作节点绑定后,Pod才能被启动执行。Kubernetes默认调度策略较为简单,仅支持分散、标签、亲和等调度方式。在大规模容器云平台的诸如机器学习、大数据处理等Pod密集、通信频繁型工作场景中,将Pod集中调度到最少节点能够降低Pod间的通信性能损耗,但Kubernetes默认调度策略目前不能够达成上述调度目标。针对上述问题,本文对Docker镜像分发框架进行了改进与实现,对Kubernetes资源调度器进行了设计与实现。论文主要工作内容如下:1.设计基于BitTorrent协议的Docker镜像分发框架。现有Docker镜像分发框架使用C/S模式,所有分发请求均由集群唯一的镜像仓库响应。在此框架中镜像仓库将成为影响镜像分发的重要因素,在大规模容器云平台中易出现集群不稳定、网络传输慢等问题。本文设计与实现了一种Docker镜像分发框架,包含框架内各组件与镜像P2P分发策略。本框架支持基于BitTorrent协议的镜像P2P传输模式,避免镜像仓库成为性能瓶颈,充分利用节点带宽。实验证明本框架提升了平均镜像拉取速度,降低了镜像仓库负载。2.提出基于Holt-Winters模型的Docker镜像仓库负载预测方法。Docker镜像仓库具有文件小且多的特点,使用P2P传输作为默认传输模式容易出现种子文件多、通信效率低等问题。本文提出了一种Docker镜像仓库负载预测方法,并设计了镜像分发模式决策策略。在本方法中,镜像仓库默认使用单点模式传输镜像,当接收到镜像分发请求时将训练Holt-Winters模型并预测近期负载,判断是否启用P2P传输模式。实验证明本方法降低了镜像仓库负载,同时减少了种子文件数量。3.设计基于指标聚合的Kubernetes高级资源调度器。在重负载、高交互的工作场景中,将同组Pod集中调度到最少节点能够提升网络通信效率,但Kubernetes默认调度器不支持这种聚集调度策略。同时Kubernetes在调度过程中对Pod优先级的评估依据仅来自于资源配额指标,大规模容器云平台中的Pod优先级评估需要结合更多维度的指标。本文设计了一种支持聚集调度的Kubemetes资源调度器,并设计了基于指标聚合的Pod优先级评估策略应用于该调度器。本调度器支持将同组Pod聚集调度到相同节点,并适时驱逐非同组Pod,同时聚合资源配额、迁移代价、可替代性等多维度指标生成优先级用于评估Pod。实验证明本调度器能够在调度过程中有效聚集和驱逐Pod,提升了调度灵活性和资源利用率。本文搭建了使用上述Docker镜像分发框架和Kubernetes高级资源调度器的容器云平台,并进行功能验证与性能测试实验。实验结果证明了本文提出的框架与方法提升了镜像分发效率、降低了镜像仓库负载、提升了调度灵活性,具备可行性与实用性。
其他文献
当前高动态车联场景面临着多普勒频偏扩展效应对通信系统的性能造成严重影响的问题,本文从多频段性能差异、车联业务需求差异和历史频偏数据辅助三个维度出发,提出了一种新型的联合多普勒频偏估计与补偿算法,有效地实现了多普勒频偏估计与补偿,提升通信链路的性能及可靠性,从而保障了高动态车联场景下所承载业务的有效进行。本文的主要贡献包括两部分:(1)建立了基于数据辅助的多普勒频偏联合估计与补偿方法。针对高动态车联
癫痫是由神经元异常放电而导致中枢神经系统功能短暂失常的脑部疾病,其发作的形式和强度复杂多样。约30%的癫痫患者在服用药物后发作症状未得到缓解,只能寄希望于手术切除癫痫灶以进行治疗。在术前评估时,发作起始区作为癫痫灶定位显著的标志,其定位精度决定着手术的治疗效果。因此,如何实现发作起始区的准确定位具有十分重要的研究意义。目前已有多项研究表明:癫痫发作起始区内、外的高频振荡信号具有一定差异,其可被用于
随着社会经济的不断发展,人才成为企业发展过程中不可或缺的因素。但是目前企业在招聘人才时如果只凭借自身经验判断进行招聘,就会出现招聘不到人才的情况。即使招聘到人才,用人单位如果不能规划和管理好人才让每个人在合适的职位上工作,就会使个人和企业的利益同时受损。不仅如此,目前很多高校毕业生不清楚自己的职业目标,也出现了找不到适合自己工作的现象。随着职业测评在国内外的发展,职业测评一方面可以帮助企业高效的找
随着微波光子学的发展,近些年,微波光子学的一个重要应用就是光载无线通信技术,通过将微波通信与光纤通信进行结合,使得微波在光纤中实现了低损耗传输。但是在微波光子链路当中,由于光纤色散的影响,经过调制的光信号在经过光纤传输之后,会产生周期性的功率衰落,使输出的RF信号在某些特定的频率点产生严重的凹陷,引起信号的失真,严重的影响了微波光子宽带移相系统的性能,因此如何抑制光纤中产生的色散是目前提升系统性能
随着智慧城市的发展,物联网技术在人们生活中的重要性也越发凸显,其中以智慧灯杆最具代表性。智慧灯杆作为智慧城市的重要节点,其功能早已不仅仅局限于照明等基础功能,所搭载的外接模块更是覆盖了日常生活的方方面面,数量上也呈爆炸式增长。传统的智慧灯杆控制器在管理外接模块时,多通过相应的硬件接口控制器实现固定的接口通信,这就导致外接模块的接入方式多样且固定,当采用其他通信协议的外接模块接入时,利用硬件接口则无
移动互联网的蓬勃发展使得人们很容易建立关系,因此全球范围内存在高度分散的在线社交网络。如此大量的在线数据可以用于刻画实体与实体之间的关系,使得社会网络分析成为研究热点。随着研究的深入,网络分析已经从早期的单一结构特征分析,发展到多种网络结构的联合挖掘以及多源信息的融合分析。社交网络融合分析是将多来源、多关系类型和异构的信息融合在一起,并以统一的分析框架对这些信息进行融合分析,实现协同挖掘任务。基于
随着移动设备的普及,移动设备中包含用户的隐私信息越来越多,隐私信息的泄露将会带来巨大的损失,因此对于移动设备的安全要求越来越高。传统的一次身份认证方法已经不能满足当下对移动设备的安全需求,连续身份认证方法应运而生。虽然连续身份方法可以持续验证用户的身份,但其存在着认证准确率不足且可用性不高的问题,针对这些问题,本文提出了基于用户行为融合的连续身份认证方法和基于上下文识别的连续身份认证方法,同时设计
开放移动联盟OMA作为移动业务的主要的标准化组织,提出了针对物联网受限节点网络的通信标准,即轻量级机器到机器LWM2M,其中采用IETF CoRE工作组提出的CoAP协议,定义了 CoAP over SMS的协议栈来保证受限节点网络的通信需求。本文研究的基于Californium开源框架的CoAP over SMS能够满足受限节点网络的通信需求。但在网络通信环境中仍然存在问题:第一是缺少在一个应用
随着互联网的快速发展,图片、文字、视屏等各种模态的数据爆炸式增长,人类进入了大数据时代。人们产生了从海量数据中快速、准确获取信息的需求,问答系统成为学术界和工业界所关注的热点。视觉问答是问答系统前沿发展方向之一,旨在从图像中获取信息,对用户关于图像不同的问题进行准确的回答。同时,图片数据拥有越来越复杂而详尽的标注信息,这些标注信息包含了丰富的图片中对象属性和对象关系的语义信息。因此,如何有效利用额
由于我国是人口大国,残障人士的基数相应的较大,对于康复器材特别是康复机器人的需求也相应较大。同时为了防止由于脑血管疾病和神经系统疾病导致长期肢体功能障碍,尤其是偏瘫和截瘫肌肉损坏或坏死,需要合理对患者进行康复训练,最大程度的对肢体进行康复训练。传统的康复训练是在治疗师的帮助下进行的,不仅劳动强度大,费用昂贵,而且训练场所多为固定场所,无法做到居家康复训练。因此,本文研制出一款针对患者下肢功能障碍的