Hadoop容错能力测试平台的设计与实现

被引量 : 0次 | 上传用户:tuoba888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息系统中数据量的迅速增长,传统的计算和存储模式已经不能满足日益增长的数据处理和存储需求。在早期分布式处理、并行处理以及网格计算技术的基础之上发展而来的云计算技术成为目前炙手可热的海量数据解决手段。但是,随着云计算平台的普及与推广,可靠性成为它面临的一项重大困难与挑战。容错能力能够从一个层面上反映出系统可靠性的高低。因此,评测云计算平台的容错能力对其可靠性研究具有重要意义。由于云计算平台的复杂程度高、软件规模大,使得云计算平台的容错能力评测成为一项艰巨的任务。目前针对云计算平台测试已有的研究成果中,涉及容错能力评测的内容较少并且测试方法较为单一,需要更加深入的研究与完善。评测容错能力的最有效手段是基于故障注入思想的测试方法。本文以开源云计算平台—Hadoop作为研究目标,深入研究Hadoop中核心组件的容错机制。基于现实应用中可能出现的故障类型,结合Hadoop平台的部署结构以及运行机制的特点,提出了一种多层次的Hadoop容错能力测试框架。从软件健壮性测试、MapReduce故障注入测试、网络故障注入测试和HDFS故障注入测试四个层次出发,分别模拟了云计算平台在应用中可能出现的多种软硬件异常。依据Hadoop多层次容错能力测试框架,设计了针对Hadoop的容错能力评测平台,实现了多种故障注入工具,形成了对Hadoop的软件健壮性测试以及可能发生节点故障、网络故障、硬盘故障等故障类型的容错能力测试的覆盖。在故障注入过程中,监控和回收云计算平台对于故障的反馈信息,进行结果分析从而向研究人员提供真实可靠的评测结果,最终为云计算平台的容错能力评测提供有力的数据支撑。为了验证Hadoop容错能力评测方法的可行性,本文使用Hadoop搭建了一个小型的云计算平台环境进行实验。软件健壮性测试发现了Hadoop接口和实现中存在的不足并进行了缺陷定位。在测试环境中进行的节点或进程级失效故障、数据操作失效故障、数据校验故障、资源过载故障和网络故障的注入测试有效地证明了各个故障注入工具的有效性。通过结合Hadoop基准性能测试程序进行故障注入前后性能变化情况的对比,能够对Hadoop平台的容错能力进行定性的评测。
其他文献
全国两会中把实施科教兴国战略和人才强国战略被放到了重要位置,这是我国实现人力资源强国的重要措施。这一切都要求我们全面实施素质教育,推动教育事业在新的历史起点上科学
文章以体验式教学法为基础,总结了体验式教学的特点,探索了在房屋建筑学课程中应用体验式教学法的课改思路。
被动蒸发冷却屋面作为一项节能技术,在夏热冬冷地区的应用目前并不广泛。在国家大力提倡节能降耗的背景下,被动蒸发冷却技术作为一项“被动式”技术可以有效地与“主动式”技
玛格丽特·杜拉斯(Marguerite Duras,1914-1996)是当代法国文坛独具特色的女作家。她的创作风格独特,个性鲜明,其中最为突出之处表现为,杜拉斯善于借用音乐来传达人物心灵深处幽微
利用落锤冲击装置完成了不同压实系数下内填砂卵石薄壁方钢管柱侧向冲击试验,试验中记录了冲击力时程曲线,并获得了试件的破坏形态以及残余变形量。基于剩余承载力损伤评估准则
PDC钻头钻速方程的研究与应用是钻井工程的主要任务之一。PDC钻头的钻速与钻头结构参数、岩石参数、机械参数、水力参数、钻井液性能参数等有关,建立合理的PDC钻头钻速方程可
研究背景与目的慢加急性肝衰竭(ACLF)是指在既往明确诊断或未诊断的慢性肝病基础上,出现急性肝功能损害,表现为黄疸和凝血功能障碍,并且在4周内出现腹水或/和肝性脑病。在我
《一辈子做女孩》的英文原版EAT, PRAY, LOVE: One Woman’s Search forEverything Across Italy, India and Indonesia是美国近几年的畅销书之一。它讲述了一位30岁的女性如
张黎,中国著名导演、摄影师。作为北京电影学院1978级摄影系的高材生,他凭借多部知名影片奠定了国内外一流摄影师的地位,然后真正让他走进大众视野的是他作为一名电视剧导演。20
皮肤鳞状细胞癌(简称皮肤鳞癌)是我国常见的皮肤恶性肿瘤之一,容易发生转移和复发,是导致非黑色素瘤皮肤癌患者死亡的主要病因。因此,寻找其发病过程中发挥关键作用的分子对