支持Hadoop配置的异构虚拟机平台的研究

来源 :中南大学 | 被引量 : 0次 | 上传用户:suibiannicheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的发展,各种大小不一的数据中心纷纷出现,而这些数据中心往往存在各种虚拟机管理平台(如Eucalyptus, OpenNebula和OpenStack等),应用场景需求也完全不同,各种管理平台要求不同的运维、开发技术和经验,不同管理平台问的服务器资源不能动态共享,影响了弹性服务的性能。同时由于平台中的不同的机器配置进而也将影响其上层运行的云计算应用。Hadoop作为已广泛应用于数据密集型计算的云计算应用之一,其中的MapReduce框架可配置参数的正确配置对计算的性能有着不可忽视的影响。然而,当遇到异构的Hadoop集群时,用户一般只能使用默认配置或者依照经验进行手工配置,由于参数调优时可选择的空间很大,这样常常会导致错误地配置致使计算性能下降。针对多种多样的虚拟机平台的问题,本文设计并实现了一个异构虚拟机管理平台。在不需要改变既有的虚拟机管理平台结构的基础上,实现对现有主流的虚拟机管理平台的统一管理和控制、虚拟资源的均衡分配;同时还提供可扩展的适配层接口和驱动部件,支持其它异构的虚拟机供应和管理平台。针对异构虚拟机平台上的Hadoop应用的问题,本文提出了一种基于增强学习的MapReduce在线参数自动配置方法。该方法利用离线学习粗粒度地创建初始化策略,在线学习根据策略细粒度地配置参数,并通过试错法迭代地更新Q值表使得配置结果接近最优。实验结果表明,该配置方法可以有效地提高Hadoop的性能,并且能快速迭代实现收敛,使运行MapReduce任务的机器资源得到充分使用,缩短任务的运行时间。
其他文献
射频识别(RFID)作为一种高性价比的传感识别的使能技术,日渐在零售、制药、医疗保健和物流管理等领域得到各种大规模应用。然而,RFID事件流具有时序性,动态性,数据量大,包含隐含语
移动Ad Hoc网络作为一种无线网络,拥有组网方便、对硬件要求不高、不需要固定中心等特点。虽然Ad Hoc网络最早是针对军事所设计的,但随着软、硬件的高速发展,Ad Hoc网络已进入了
本文对短信分类的关键技术做了深入的讨论。结合贝叶斯分类的文本分类方法和Bigram分词的方法,并提出在移动手机终端进行双层短信过滤模型,对传统的文本分类进行了改进,有效
普适计算力图将以计算机为中心的计算模式转变为以人为中心的计算模式,其目标是构建一个计算和通信无处不在的环境,并在此基础上透明地提供以人为中心的服务。获取物体的位置信
随着集成电路制作工艺的不断发展和半导体尺寸的日益缩小,存储器的密度越来越大。随着存储器密度和复杂度的快速增长,存储器发生故障的概率越来越高,故障种类也越来越多,这使得存
目前绝大多数的文字识别(OCR)系统,只能识别单一文种的文字,无法同时识别多文种文字。而现有的大量蒙古文文档图像中不仅包含蒙古文,还混有汉文和英文。如果识别时仅使用蒙古
当前社会产生的大量数据需要更好的存储解决方案。近年来,基于网络技术的分布式存储,将数据存储在多个廉价设备上,已经得到了广泛的应用。但是考虑到系统的规模,系统中的构成节点
一个高质量的软件系统常常利用专家的设计经验,这个专家的设计经验称为设计模式。现在,设计模式被广泛地应用于各种软件系统设计中,但是这种架构的设计模式的相关信息在大量
鱼眼摄像机由于能一次性捕获视野达到180°甚至更大范围内的场景信息,在视频监控、机器人导航、目标跟踪及定位等领域有着广泛的应用,但是其存在的严重畸变又给鱼眼摄像机的应
工作流管理系统是实现企业信息化重要支撑系统之一,它通过协调多个人的活动、以协同完成某个共同的任务,从而有效的提高企业的经营效率。工作流引擎作为工作流管理系统的核心