面向云数据中心的容器整合框架与算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:mawenbo111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
容器(Container)技术作为一种轻量级虚拟化技术得到了迅速发展和广泛关注,并成为云环境的主要部署模型之一。在云计算(Cloud Computing)领域,基于容器技术形成了新型服务模式:容器即服务(Container as a Service,CaaS)。在CaaS服务模式下,容器运行在主机所托管的虚拟机中。由于云环境的复杂性和动态性,云数据中心可能会出现高能耗、资源利用率低下、服务水平协议(Service Level Agreement,SLA)违反等问题。为了解决上述问题,容器整合(Container Consolidation)作为一种有效的解决方案被提出。本文重点研究通过容器整合框架和算法来提高云数据中心的能效。本文的主要研究工作和关键的创新点如下:
  1.本文调研了云数据中心的节能技术,并按照使用环境分成无虚拟化环境下的节能技术和虚拟化环境下的节能技术。针对混合虚拟化环境,本文提出了支持容器整合的系统架构,为后续容器整合框架和算法研究提供夯实的基础。
  2.针对现有工作在CaaS服务模式下没有充分考虑虚拟层对于服务质量和能耗的影响,本文提出了容器整合框架FFCC。FFCC框架的容器整合功能由四个功能模块支撑,分别是虚拟机状态检测模块、主机状态检测模块、过载容器整合模块和欠载容器整合模块。实验结果表明,在相同的选择算法下,虚拟机过载阈值和主机欠载阈值都为0.7时,FFCC达到最高能效。与FACC的对比实验结果表明,FFCC具备优异的性能,能够大幅减少容器迁移次数,降低能耗和SLA违反,最终提高云数据中心的能效。在相同的选择算法下,FFCC的能效值高于FACC,平均提升了3.2倍。
  3.针对现有容器整合算法降低能耗效果不佳,本文提出了容器整合算法GRU-ESCC。由于精确地资源预测能够有效地提升资源配置和资源调度效果。为了提高资源预测精度,本文提出了混合预测方法GRU-ES,该方法结合了门控递归单元(Gate Recurrent Unit,GRU)和指数平滑(Exponential Smoothing,ES)方法。实验结果表明,GRU-ES的预测准确性高于其他对比预测方法。本文利用GRU-ES方法预测虚拟机资源利用率和主机资源利用率,根据预测结果判断虚拟机和主机的状态,并且进一步形成了容器整合算法GRU-ESCC。实验结果表明,GRU-ESCC能够降低能耗和SLA违反指标,从而提升云数据中心的能效,最高提升131.4%,平均增幅达到65.9%。
其他文献
多智能体路径规划问题是为多个智能体在地图上寻找它们从各自不同的起始位置到目标位置的无冲突路径集合的问题,属于NP-hard问题。该问题作为人工智能领域的重要问题之一,在物流仓储、交通控制、机器人等领域中也有非常多的应用。在研究该问题的历程中,产生了次维扩展、代价增长树路径搜索和基于冲突的路径搜索等求解方法。次维扩展作为其中表现最好的方法之一,是一种具备完整性和最优性的多智能体路径规划问题求解框架。
学位
网络在生活和生产中无处不在,例如社交网络,而网络表示学习(也称网络嵌入)是一种对网络型数据非常有效的处理方法,其旨在为网络中的每个节点都学习一个低维的向量表示。在现实世界中许多网络都是动态的不断变化的,然而大部分现有的算法只能对静态的网络取得较好的效果。动态网络通常可以分成两类:一种是随着时间推移其拓扑图的节点和边会增加或者减少;第二类则是网络的边会包含时间信息,如电话网络。动态网络表示学习算法大
学位
近年来,基于LSM-tree的键值(key-value)存储系统在数据存储领域发挥着重要作用,作为后端存储引擎被广泛部署在数据密集型应用场景下。然而,LSM-tree层次化的、高度有序的数据组织结构需要通过大量的数据合并操作维护,引起了严重的写放大问题。最近的研究工作针对系统架构提出了几类优化方案,虽然缓解了写放大问题,但是不同程度地牺牲了查询性能和空间利用率。为了获得均衡的高性能表现,本文通过分
随着现代城市的迅速发展,大型城市综合体内部及周边巨大的人流量为公共安全带来了严峻的挑战。为了应对这一挑战,需要针对性的人流管理措施,而人流统计和预测则是人流管理的数据基础。  由于人流在时间和空间两个维度上的不确定性,以及缺失数据的存在,精确的人流预测一直是一个具有极高挑战性的任务。近年,已有一些针对城市范围的人流密度预测算法,但这些模型均没有考虑建筑物内部,如城市综合体内的人流模式。  本论文的
随着智能移动设备的广泛使用,一种新的众包形式-空间众包应运而生。空间众包要求工作者到达指定任务位置才能执行任务。本文提出了一种新的空间众包形式,称为时间连续型空间众包。时间连续型空间众包与以往空间众包的不同在于,时间连续型空间众包任务需要长时间的任务周期才能完成任务。时间连续型空间众包在实际生活中存在广泛应用,包括环境监测、交通检测等。  由于任务预算和可分配工作者数量有限,时间连续型空间众包任务
近年来,蓬勃发展的电子信息和网络技术给现代人们的各种日常生活工作方式带来了深刻的社会变革,人们愈发地倾向于以直观的图像和视频为媒介,来理解外部世界和表达自身。这种需求无疑催生了社交媒体平台的爆发式增长,海量的视频数据由这些平台得到分享和传播,并不断涌入我们的生活。在这种情况下,如何对海量的视频数据进行浓缩,抽取出其中的关键信息,从而帮助用户更快更准确地获取自己需要的视频内容,是当今计算机技术领域,
在过去十年中,得益于大规模并行计算架构的广泛部署,人们可利用的计算资源得到了极大提升。如今,在为复杂计算问题设计求解器时,设计并行求解机制以有效利用并行计算平台已变得越来越重要。然而,人工设计并行求解器仍然是一项艰巨的工作。作为一种新的并行求解器设计范式,面向并行启发式算法组的自动构建技术(Automatic Construction of Parallel Heuristic-algorithm
在数据激增的大数据时代,数据挖掘技术正在各行各业中扮演着重要的角色。聚类分析和关联分析是数据挖掘领域中重要的研究课题。聚类分析旨在挖掘出数据中潜在的簇结构,关联分析旨在从数据中发现有意义的关联。传统的聚类分析和关联分析是挖掘数据中所有模式的全局分析技术。当用户只对特定对象感兴趣时,只需要挖掘与给定对象相关的模式。此外,现实中,需要分析的数据是海量的。海量数据的全局信息可能无法获得或者需要很大代价才
学位
性能建模(Performance Modeling)是高性能计算(High Performance Computing,HPC)领域中的重要研究问题。具体而言,性能建模是指利用理论分析或者实验测评的方法,定量描述高性能计算程序的性能与程序输入、系统配置、环境变量等各种因素之间关系。定量的性能模型可以对高性能计算程序在不同的条件下的执行时间进行预测,从而在高性能计算系统的任务调度、资源分配、性能调优
近年来,随着互联网的飞速发展,社交网络逐渐成为人与人之间交互的重要途径和平台,全方位的为人类的生活、工作、娱乐等行为带来了便利,伴随这个过程,互联网同时也产生了大量的数据,这也推动了社交网络挖掘相关工作的发展,借助相关知识,研究者们可以对社交网络中的用户行为进行建模,并对网络中可能发生的事件等进行分析和预测,因此社交网络挖掘也成为数据挖掘领域一个重要的课题。然而,相比于传统的普通静态网络,现实中的
学位