存储敏感的云服务优化重部署关键技术研究

来源 :国防科学技术大学 | 被引量 : 2次 | 上传用户:clin_789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
很多大型分析公司评估指出,生产集群中服务器资源利用率在15%到20%是很常见的;微软研究进一步指出,服务器即便在空闲时也会消耗超过其能耗峰值66%的能耗。显然,资源利用率较低的服务器浪费了大量能耗,是造成云数据中心能效不高的主要原因。然而,即便云数据中心服务器平均资源利用率较低,性能降级甚至性能故障问题依然频频发生。因此,如何在确保云服务性能的同时提升云数据中心能效,已经成为制约云服务提供商提升核心竞争力的关键问题之一,且该问题无法通过优化实例分配策略彻底解决。为了应对该问题,必须根据云服务实际运行情况持续开展云服务优化重部署。  与共享存储相比,本地存储的I/O性能价格比更高。因此,本地存储被众多云服务提供商采纳并用于其云计算服务,尤其是I/O密集型云计算服务。称此类服务为存储敏感的云服务,阿里云RDS是其中的典型代表。在生产环境对存储敏感的云服务开展优化重部署面临的一系列关键问题与挑战。  首先,本地存储的广泛使用使得实例迁移代价(迁移耗时与网络带宽等)显著增大;与此同时,生产环境缺乏准确预估实例迁移耗时的手段,运维人员受累于大量的手动迁移。其次,迁移抖动风险客观存在,不可避免;要减少或避免实例迁移抖动,需要在开展优化重部署过程中进行考虑和优化。第三,资源利用不均衡问题同样客观存在,不可避免。一方面,整体资源利用率较低,通过云服务优化重部署提升云数据中心的能效潜力巨大;另一方面,必须在开展优化重部署的过程中持续监测并及时处理高负载服务器带来的隐患。第四,在生产环境中开展云服务优化重部署,还必须满足一系列约束。这些约束包括但不限于:维护窗口时限约束、运行环境动态变化且无法预知、服务器资源利用率上限约束、单服务器部署实例数上限约束,以及最大并发迁移任务上限约束。  针对本地存储的广泛使用使得实例迁移代价(迁移耗时与网络带宽等)显著增大,生产环境缺乏准确预估实例迁移耗时的手段使得运维人员受累于大量的手动迁移的问题,提出存储敏感的实例迁移代价模型,从而优化和控制云服务优化重部署的代价。  针对云数据中心服务器资源利用率普遍较低这一现状,提出存储敏感的云服务优化整合方法。该方法使用基于迁移耗时的迁移代价模型筛选下线服务器,从而有效优化优化整合的迁移代价;使用基于Worst-Fit的启发式算法筛选迁入服务器,从而有效改善资源利用不均衡问题;同时,以上两种策略能够有效减少或避免迁移抖动的发生。  针对云数据中心资源争抢导致的性能问题频发,提出存储敏感的云服务负载均衡方法。该方法综合考虑实例迁移代价、高负载服务器与迁出实例的负载特性筛选迁出实例,使用基于Worst-Fit的启发式算法筛选迁入服务器,从而在改善资源利用不均衡问题的同时,优化负载均衡代价,并且减少或避免迁移抖动的发生。  最后,基于本文提出的方法,设计并实现了存储敏感的云服务优化重部署系统,并将该系统部署于阿里云RDS生产环境开展大规模实例验证工作。目前该系统已部署、运行近两年时间;通过持续开展优化重部署工作,该系统在定位迁移瓶颈、优化迁移策略、优化迁移代价、避免迁移抖动、改善资源均衡以及支撑天猫双十一六个方面取得了显著的应用成果。
其他文献
水电厂的监控自动化对合理利用水资源,提高发电效益及电厂的安全运行有着十分重要的意义.现地控制单元为水电厂计算机监控系统的一个重要组成部分,其一方面与电厂生产过程联
随着汽车工业和电子技术的发展,车载信息平台成为了现代汽车发展的新潮流。与此同时,手机由最基本的语音电话功能,发展到现在集各种信息娱乐服务于一体的智能手机。如何使驾
该文描述的安全操作系统是面向电子政务内网,从分析电子政务的应用出发,为电子政务定做的专用安全操作系统.该操作系统的特点如下:第一,提出了新的访问控制思想,不对敏感数据
网格计算是当前分布式计算技术的一个研究热点.而开放式网格服务架构(OGSAOpen Grid Service Architecture)的提出,更是为网格技术的实用化指明了一条道路.OGSA通过网格服务
数据挖掘的应用是当前数据挖掘技术的研究热点和趋势.该文首先介绍了当前电信欺诈的现状背景,说明了开发电信反欺诈系统的必要性和紧迫性;接着介绍了目前国内数据挖掘技术的
随着先进计算机技术和网络技术的广泛应用,信息系统在规模、结构、功能层次及设计实现等各个方面均发生了很大的变化。随着硬件环境、操作系统以及通讯平台的不断发展,开发具有
人类的交流离不开语言,在人类语言传递中,不仅有文字符号本身的信息,还包括了丰富的情感状态和内容。对语音情感信息的识别,在信号处理和人工智能领域中都有着重要意义。在当前的
在当前数字信息技术和网络技术高速发展的后PC(Post-PC)时代,嵌入式系统已经广泛地渗透到工业生产、科学研究、工程设计、军事技术、各类产业和商业文化艺术以及人们的日常生
对象请求代理中间件ORB虽具有良好的集成分布异构应用的能力,但不能有效支持实时消息通信;面向消息的中间件MOM虽能满足企业应用中的异步松散耦合通信,但一般MOM缺乏实时QoS支持
在该文中,我们设计了三个有效算法,并且对于算法的正确性以及时间复杂度给出了严格的证明,从而充分保证了算法的准确高效.在第一章中,我们首先给出对于该文中所使用的基本术