云平台上基于批处理作业的Auto Scaling系统的设计与实现

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yahved
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,云计算正在受到越来越多的关注,开源云平台如Eucalyptus、OpenStack等主要提供IaaS层上的服务,即基础设施即服务,用户向云平台购买一定量的虚拟机,将自己的任务提交到购买的计算节点上去执行。当用户完成计算任务时,可以将这些云端的虚拟机释放掉,他们所支付的只是使用期间的费用。通常这些计算资源的负载会随着时间发生明显变化,呈现“震荡”现象,这给用户准确购买计算资源的数量带来困难。云计算通过引入auto scaling机制解决上面的问题。所谓auto scaling是指系统会通过监控负载的大小情况,根据用户提前制定的策略自动进行资源规模的伸缩。目前auto scaling机制主要应用于web服务中。   在本文中,我们将auto scaling机制应用到批处理系统中,与服务器的CPU、内存等性能指标相比,用户更关心的是每个作业能否在它们的deadline之前完成。本文在实验室已有的基于Eucalyptus的瀚海星云计算平台的基础上,分别用Torque和Maui作为作业管理软件和调度软件,设计并实现了基于批处理的auto scaling系统。为了尽量减少自动伸缩对底层云平台的影响,我们将整个auto scaling系统分成上下两层:上层是auto scaling系统的核心部件,负责接收用户提交的作业、做出资源扩展和收缩决定、调用云平台的接口启动/关闭虚拟机等;下层是云平台,负责提供计算资源、执行作业等。分层的设计降低了auto scaling部件与底层云平台之间的耦合,只要将auto scaling系统调用的云平台接口替换,很容易实现系统的移植。   本系统处理的批作业对计算资源的性能要求大致相同,用户掌握大量历史信息,可以估算每个作业的预计运行时间。通过参考任务的完成期限、支付费用限制及虚拟机启动时间等信息,我们设计实现了一种比较简单实用的自动伸缩算法。Auto scaling系统能够根据该算法自动地扩展和收缩计算资源规模,保证任务在用户提供的截止时间之前完成的前提下,最大限度地为用户节省资金。
其他文献
随着社会生活智能化的发展以及对公共安全性要求的提高,视频监控系统开始广泛的应用到学校、医院、社区、银行等公共场所,并逐渐在社会公众安全领域发挥起至关重要的作用。本文
图像复原技术的研究不仅具有重要的理论意义,在实际生活应用中也有迫切的需求。理论层面的图像复原,是指去除或减轻在获取熟悉图像过程中发生的图像质量下降(退化),目标是对退化的
无线通信和移动计算技术日新月异的变革使网络信息资源变得多样化,互联网用户对网络信息通信的标准要求也更加严格。如何使用户随时随处享受资源共享,完成对无线网络的无缝接入
无线多媒体传感器网络(Wireless Multimedia Sensor Networks,WMSNs)用于采集、处理和传输大量音视频信息,数据传输量大、实时性高,同时要求网络可满足不同应用的服务质量要
互联网技术与数字化的飞速发展以及电子数码产品的普及使人们能够获取的数字图像数据已经越来越多。然而,对于大量的图像数据,如何让人们能够快速有效地进行管理与检索,并从
云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取IT服务。而构成资源池的计算机在计算、存储、宽带性能等方面都可能存在限制与不同
随着计算机与网络技术的飞速发展,网络端之间数据传输的可靠性、安全性和公平性等问题直接影响着数据传输的效率,而计算机网络协议则是负责数据传输的关键,可见,优化计算机网
目前,我国的物流企业正处于一个高速发展的时期,发展物流产业的目标是提高物流效率,降低物流成本,从而最大程度满足客户需求。这使得物流行业朝着信息化、网络化、智能化、标准化
列车的方便、快捷无疑为我们的生活带来许多便利,但同样列车的安全、运输效率也越来越受到人们的重视,列车性能的改进成为该领域的核心内容。我国在考虑自身的实际情况和未来发
随着嵌入式技术,数字图像处理技术,网络通信技术和视频压缩技术的快速发展,嵌入式视频监控系统正朝着网络监控和智能监控的方向发展。在智能视频监控方面,无论是国内还是国外