面向大数据的异构集群存储系统副本放置与选择策略研究

来源 :东南大学 | 被引量 : 5次 | 上传用户:yanlian2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
集群存储系统作为新一代企业级存储架构,是云计算和大数据时代应对存储容量压力、I/O性能瓶颈、存储成本危机等诸多挑战的重要解决方案。现有集群存储系统一般由大量廉价商用存储设备构成,节点失效和硬件故障被认为是一种常态。为此,副本技术被广泛运用于该存储架构中以保证系统的高可靠性和高可用性。随着云计算技术和大数据应用模式的不断发展,如何针对个体服务质量敏感的大数据应用、多样化的I/O负载及集群存储系统的新特性,高效地实现多个副本的“存”和“取”,即副本的放置和选择,是当前集群存储系统副本管理研究中需要解决的关键问题。现有工作在分布式存储系统的副本放置和选择方面取得了一定进展,但仍存在诸多不足。在静态副本放置方面,已有策略的负载均衡能力尚缺乏有效的理论证明,适用范围不清晰,且未考虑存储节点的异构性,应用具有局限性;在动态副本放置方面,现有算法虽然具有更加灵活的I/O负载均衡能力,但会增加系统的复杂性并导致副本放置呈现无序化,且同样未考虑存储节点的异构性,严重影响系统能效和应用性能;而在副本选择方面,已有策略选择标准单一、可扩展性差,没有从大数据应用角度出发考虑按需服务的数据请求,无法满足越来越多的个体服务质量敏感的大数据应用。本文针对异构集群存储系统副本管理中放置和选择两个关键技术,研究相关机制和算法,为构建大容量、高性能、低成本和强扩展性的集群存储系统提供合理、高效的副本策略,以满足当前大数据应用对存储系统提出的迫切需求,具体的研究内容主要包括以下四个方面:第一,结合排队论对异构集群存储系统的静态副本放置策略展开递进式研究,以期解决现有工作所存在的问题,为集群存储系统的整体设计和规划提供理论依据;第二,以目前主流的Hadoop作为研究对象,提出一种面向大规模异构Hadoop集群存储系统的动态副本放置策略,能够充分利用集群中高性能节点提升大数据应用任务的执行性能,同时提高集群系统能效并节省一定的存储开销;第三,提出一个QoS偏好感知算法获取个体服务质量敏感的大数据应用的非定量QoS偏好,结合系统当前副本放置方案,在多维QoS约束下解决最佳副本的选择问题:第四,基于东南大学云计算平台,设计并开发面向AMS大数据应用的分级存储数据管理系统,为AMS大数据处理的高效快速执行提供合理的副本策略并验证本文的理论研究工作。本论文对面向大数据应用的异构集群存储系统的副本放置和选择策略进行了深入探索,通过一系列仿真实验和AMS大数据处理的实验结果表明,本文所提的相关机制和算法能够对异构集群存储系统中的数据及其副本进行合理、高效的管理和优化,可为实际应用中异构集群存储系统的副本管理服务提供行之有效的解决方案,为大数据存储管理的发展做出有益贡献。
其他文献
目的探讨胃旁路术对糖尿病大鼠的降糖作用及其作用机制。方法将40例糖尿病大鼠按照随机数字法分组,即手术组和对照组,各20例,手术组大鼠接受胃旁路术治疗,对照组大鼠仅采取饮食控
新生儿硬肿症是指新生儿时期由于由寒冷、早产、感染、窒息缺氧等多种因素引起的皮肤和皮下脂肪变硬及水肿,常伴有低体温及多器官功能低下的综合征,常见于早产儿、低体重儿,严重
如何高效利用片上高速缓存是多核处理器研究的一个重要课题。现有的片上高速缓存管理机制是软件透明的,不能实时感知程序数据集的局部性特征,以及来自多个线程不同的访存请求
为了了解降水对接地电阻值的影响,对柳州市气象局国家基本观测站自2012年4月至2013年7月的日降水量和接地电阻值数据进行了分析得出:在少雨季节,降水量对接地电阻的影响表现为
通过对贵港市气象科技服务现状和存在问题的分析总结,提出发展气象科技服务的建议和措施。
利用茂名5个台站1973-2013年逐时降水资料,采用线性倾向估计、功率谱、滑动T检验等方法,分析茂名地区昼夜降水基本特征及其时空演变规律。结果表明:茂名地区常年昼雨量北部山区
在科学研究的过程中,应当引导学生独立思考,面对研究问题时形成自己的看法,具有初步独立的思想和独立思考的能力.在暖通专业硕士的培养中应以提高学生创新意识、创新精神和创
中国人口的城市化速度相对较缓慢,这就造成了当前农村人口仍然占我国人口的主要部分。现阶段,我国农村社会保障体系还不够健全,农村社会保障事业发展明显滞后,农村社会福利服
序言合并财务报表主要是以集团公司各公司各自的会计报表为基础编制的相应的会计报表,用于统筹规划整合公司整体财务状况.近年来,中国集团公司市场相对活跃,企业重组和兼并等
期刊
随着全球卫星导航系统的不断完善,全球定位系统课程成为普及卫星导航知识的必要手段.本文针对地理信息系统专业和测绘专业的《全球定位系统》课程教学过程中的一些问题进行了