分布式资源调度平台调度策略的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:didi_1157
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
容器是近年来出现的一种虚拟化技术,广泛应用于云计算领域,它极大的方便了云计算应用的部署,越来越多的应用转向了使用容器开发与部署。在众多容器编排管理工具中,Kubernetes正在成为一种事实的标准,它提供了一套集群自恢复机制,包括容器的自动重启、自动调度以及自动备份等。但是,Kubernetes的缺省调度器依赖于应用属主提供的资源分配需求,没有考虑实时资源的使用情况。并且随着多集群架构的应用,通常需要运行多个Kubernetes集群,增加了管理的复杂性。本文在深入研究kubernetes和Docker容器技术后,总结了kubernetes在调度方式和策略上的不足,并基于实际的生产应用需求设计并实现了一个分布式资源调度管理平台,将服务和具体机器解耦开,提供服务间资源隔离和资源的自动分配,使得服务混部得以容易进行。该系统能够根据资源池中主机的实时资源使用情况,选择合适的主机部署。论文详细阐述了所涉及的理论基础、涉及思路以及实现方案。本文主要完成的工作如下。1.本文着重学习了资源调度技术以及主流的集群调度系统的设计与架构并对市面上众多的容器编排管理工具进行了研究和总结,发现以kubernetes为代表的容器管理平台调度时没有考虑实时资源的使用情况,调度主要面向单集群,由于Docker容器技术的Cgroup机制的限制,未能实现资源的超发且调度时只考虑了内存和CPU资源,结合对云计算的相关技术分析其优势与不足,提出资源超发,多维资源,多优先级可抢占的在离线混部调度的需求。2.结合需求分析完成系统主要功能的实现。实现一个面向多集群,将资源做部分超发并实现可按优先级抢占的在离线混部调度的两层调度器,对CPU等异构Quota做归一化处理,设计NG系数用于异构Quota调度。
其他文献
针对攻击数据难于获取和攻击行为难以检测的问题,攻击仿真与测试已成为网络安全的研究热点。攻击测试是利用渗透工具对目标系统发起攻击,主动分析其弱点和技术缺陷。在众多的渗透工具中,普遍存在自动化程度低、扫描效率低、模块操作复杂、仿真攻击种类少、攻击目标模糊的问题,最终导致仿真及测试效果不佳。针对当前的问题,综合渗透技术、分布式技术、Kafka消息系统、路径优化算法等,实现了一个网络攻击仿真平台,为网络检
随着计算机视觉的不断发展,计算机视觉四大基础任务之一的目标检测成为了热点研究方向之一。目标检测旨在让计算机能够拥有自动的识别图像中目标的类别与位置的能力,其在自动驾驶、人脸检测、智能安防等领域都有着不可或缺的作用。因此大量的研究者都开始着力于提高目标检测的检测性能与检测速度。近年来,利用深度卷积神经网络进行目标检测的方法取得了重大进展。主流的目标检测算法根据检测算法的流程可以分为以速度为优势的一阶
本文站在中小规模云服务供应商的角度,提出通过向亚马逊等大厂商租赁服务器来搭建分布式云服务平台的可能性。不同于传统的云服务提供商自建数据中心,通过租赁计算资源来构建数据中心可以大大降低云服务厂商的初期成本。本平台为用户提供服务功能链的部署服务,并收取费用。通过将不同类型的网络功能按需排列,就构成了一条服务功能链。为有需求的客户提供服务功能链是一个不容忽视的市场。针对这一新的平台模型,本文从三个方面进
随着物联网时代的到来以及计算机的广泛使用,各种应用和服务使得人们的生活品质愈发地提高,人们的生活愈发便捷化。但与此同时,随着数据量的爆发式增加,大量带宽资源被占用,特别是作为服务中心的云计算设备,容易在高峰期出现链路拥堵的情况。并且随着人们对服务质量QOS的不断提高以及智能应用例如自动驾驶的不断发展,传统云计算所提供的延时性渐渐无法满足需求,这时将部分计算放入边缘计算设备已成为了热点并被运营商等特
随着云计算、5G技术的快速发展,与日俱增的网络应用场景对虚拟网络功能(Virtual Network Functions,VNF)的灵活性与可定制化程度提出了更高的要求,需要设计新型网络协议算法来提供更加灵活可定制的队列调度、流分类等数据包处理方法。然而传统VNF中的数据包处理通过内核协议栈实现,代码冗长且流程固定,导致VNF中新型网络协议算法的开发门槛高、可定制化程度低。本文研究分析了VNF中新
随着新的网络服务类型不断涌现,以及在线视频等业务的大量推广,使得网络流量井喷式增长。而传统通信网络依赖专用、封闭硬件设备的特点,让网络扩容以及新业务的开发和部署都困难重重。网络功能虚拟化(Network Function Virtualization,NFV)通过软硬件解耦的方式,实现了使用虚拟化软件和廉价通用计算设备来提供各种网络功能。网络服务一般可以被分解为多个网络功能的组合,业务流按照顺序依
随着通信技术和软件技术的不断成熟,车联网的发展也越来越迅速,同样,车联网平台的风险也引起了越来越多人的关注。本文正是在车联网平台的基础上,使用大数据收集和分析技术以及相应的风险分析模型,并结合实际的车联网背景,基于《智能网联汽车产品测试评价白皮书》中的分析准则,建立了一套用于分析和评估车联网平台中不同对象风险信息的系统。整个系统包含了车载端和服务端,车载端包含视镜网、数据采集模块、消息中间件和数据
随着PCIe协议的发展,PCIe接口的产品速度越来越快,但数据传输过程中依然存在一些延迟,故降低PCIe接口的延迟已经成为当前研究的重点课题。因此,本论文针对上述问题,在深入分析物理层发送逻辑和接收逻辑的基础上,对加解扰模块和弹性缓冲器模块进行了优化,并进行了功能仿真和FPGA原型验证,以期降低PCIe接口的延迟。主要内容为:(1)在加解扰模块,通过两种方法进行了设计。一方面,采用常见的并行扰码,
网络流量态势感知能够快速准确地反映出当前网络流量的运行状况,也能够预测未来的网络流量运行趋势,是网络流量管理的一种重要手段。结合SDN网络和ONOS控制器的特点,本文设计并实现网络流量态势感知系统,其可以根据功能分为流量态势指标提取子系统、流量态势评估子系统和流量态势预测子系统。本文所做的主要工作如下:第一,设计并完成流量态势指标提取子系统。首先考虑到完备性和易得性分层构建流量态势指标体系;再设计
随着大规模计算能力的提升,人工智能话题火热,深度学习各领域发展迅猛,在诸多领域上深度神经网络已经达到人类水准,某些特定任务中甚至远超人类水平,其应用也慢慢融入社会的学习和生活之中。但人工智能背后的安全问题日益凸显,有研究表明深度学习及机器学习模型易受到对抗样本的攻击。对抗样本为在干净样本上添加特定的微小噪声所形成的输入样本,能使模型给出错误的结果。通过近几年研究,在对抗样本领域的研究主要分为对抗攻