共享式数据中心面向动态资源调度的性能分析技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:nx002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
共享式数据中心利用虚拟化技术在满足各个应用对资源动态需求的同时也提高了资源的利用率,解决了数据中心由于资源浪费带来的一系列问题。服务部署系统利用资源模块化和资源的动态重构给服务的部署带来了灵活性和性能提升,为动态资源调度提供底层支持。基于模型的动态资源调度为数据中心提供了高效的解决方法,分布和时间相关性作为性能的决定因素,是性能分析模型中不可缺少的参数,现有的负载和性能分析技术由于缺少实际粗粒度监控环境和在线获取难度的考虑,不适用于动态资源调度应用。   针对大范围变动负载情况,单一类负载描述方式无法捕获负载间的异构性和实际监控环境中无法获取多类服务时间定律所需的利用率信息问题,本文提出了一种基于分类和回归分析方法的负载静态属性请求服务时间的在线提取方法。实验结果表明,基于该方法的模型求解的性能参数值与实际测量值的误差在10%以内,6个分类数目与1个分类数目相比,CPU和DISK利用率的相对误差分别平均降低了97.81%和5.11%。   针对粗监控粒度和短相关负载情况,传统的基于平均服务时间的排队模型的性能分析不准确问题,本文提出了一种适用于粗监控粒度的在线性能分析方法。该方法利用离差指数近似描述服务时间过程的短时相关性,基于离差指数拟合低阶马尔可夫模型,在低阶马尔可夫模型的基础上构建排队网络进行性能评价。实验结果表明,与采用均值分析方法求解的排队模型相比,响应时间和吞吐量的相对误差分别平均降低了6.38%和6.27%,最大降低11.45%和15.06%。   针对长相关负载下高阶马尔可夫模型MAP拟合的时间开销难以满足动态资源调度应用的时间需求问题,本文提出了一种矩和相关性联合逼近的高阶MAP拟合方法-JAMC MAP拟合方法。JAMC是改进的KPC-T方法,通过降低解决高阶MAP拟合三个子问题的复杂度最终达到降低拟合时间开销的目的。JAMC联合拟合分布统计值-矩和时间相关性统计值-自相关系数,依据不同的负载强度拟合不同的阶数。实验结果表明,与KPC-T相比,JAMC的预测能力相当,但JAMC的拟合时间减少了近2/3,分钟级别的计算开销是可以接受的。   本文从应用的角度进一步探索了共享式数据中心资源调度策略。在虚应用环境内部,提出了基于自相关性的准入控制策略,该策略依据负载的时间相关性信息缩短由于相关性导致的长队列。实验结果表明,相比随机丢弃准入控制策略,该策略下的响应时间至少缩短30%。在数据中心整体的资源分配上,总体效用从空闲的机器数角度虑及了资源利用率因素,通过修改的遗传算法来选择资源分配的最优解。实验结果表明,基于长相关特性的分配方案比未考虑长相关特性的分配方案的总体效用提高了近一倍。
其他文献
无线通信技术以及移动嵌入式设备制造技术的发展,使得移动用户可以通过无线网络随时随地的接入Internet接收信息以及发布信息,随着无线网络的覆盖范围更大,用户客户端更加便携,用
随着虚拟化技术的发展,近年来传统数据中心正朝着虚拟化数据中心方向转变,本文研究虚拟化数据中心的资源管理技术。   一类虚拟化数据中心将节点计算资源封装成虚拟机实例供
处理器和内存之间的性能差距正变得越来越大,使内存成为整个计算机系统的性能瓶颈之一。提高数据局部性可以有效地利用处理器高速缓存,是缓解内存和处理器性能差距的有效手段。
视频和图像中的标识包含着重要的语义信息,标识检测对视频图像内容理解、检索与过滤、知识产权保护等都具有十分重要的意义。标识可分为嵌入标识和实景标识。嵌入标识是人工添
在面向层次管理的科学计算网格环境下,高性能计算机通过本地账号的方式为网格提供资源,网格用户通过应用的方式使用资源。基于该背景,本文对资源组织、用户权限管理、可用计算资
传统的机器学习技术假设所有的错误代价相同。然而在真实世界的问题中,不同的错误往往会带来显著不同的损失。代价敏感学习试图降低总体代价而非简单的减少错误次数。由于此类
公路绿化不仅可以美化路容、净化环境,同时也是保障交通安全的重要条件之一因此,对于公路绿化评价也显得极其重要。而现阶段,对于公路绿化的评价仅仅停留在手工与纸质阶段,完
随着网络的广泛应用,各种应用系统的日益增多,保证整个信息系统的稳定、高效运行就显得极其重要。要实现这一点,除了依靠设备和应用系统自身的可靠性,还必须依靠一套有效的监
学位
地铁作为城市最重要的公共交通工具,承载着大量的旅客,确保地铁的安全运营至关重要。特别是近年来随着我国各大城市建设和运营规模的不断扩大,地铁面临的安全形势日益严峻,对
随着集成电路设计复杂度的不断增加,设计错误的数量也在呈上升趋势。由于速度及模型正确性的约束,硅前验证已经不能保证没有设计错误遗留到硅后阶段。而且随着工艺的发展,硅片中