基于HDFS的低带宽节点修复研究

来源 :河北建筑工程学院 | 被引量 : 0次 | 上传用户:ivan888111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代信息技术高速发展的时代,网络信息呈现飞速增长的模式,每天产生的信息量都在以不同倍数的速率增加,因此怎样在大容量的信息基础设施上实现安全、经济的存储,成为了当前各大分布式网络结构及存储机制中迫切需要解决的问题。HDFS(Hadoop Distributed File System)是目前最普遍采用的开源分布式存储系统之一,它在3.0版本之前主要使用多副本的机制保证了数据的容错性,但同时也带来了昂贵的存储成本。3.0版本之后的HDFS内部引入了纠删码机制,这很大程度上降低了存储成本。HDFS中采用的纠删码技术,最主要使用的是RS码(Reed-Solomon)编码,该编码系统在进行数据恢复时,必须从其他未损坏节点中下载大量数据进行计算,过多的数据传输会占用大量的网络带宽,从而造成了较长的恢复周期。文章从优化RS码在多节点恢复时的传输模式,以及降低系统在单节点恢复时所需读取的数据块的数量两种视角,对HDFS的纠删码机制做出了一些优化,减少了节点恢复所需的时间,从而提升了修复效果。首先,针对在HDFS存储体系中部署实现的RS码在多节点恢复流程中存在修复带宽过高的实际问题,提出一种基于RS码的多节点恢复传输模型DSMR。该模型充分发挥了RS码在多结点恢复过程中的计算冗余特性,并按照节点稳定性和节点网络距离来选取恢复节点,从而构建了并行传输机制,在分布式存储系统中的优越性更加突出。经理论研究与实践对比都证明,DSMR模式有效减少了RS码的多节点恢复带宽。随后,深入研究了基于Piggybacking架构的OOP编码,针对其在修复校验节点的过程中存在带宽浪费的问题,提出了一种具有更低修复带宽的编码结构LOOP码。该编码通过将校验数据分组叠加存储在空闲校验节点上的方式,以达到降低校验节点的修复下载量的目的。理论分析与实践对比都证明,LOOP码在有效保护小条带结构的同时,有效减小了校验节点的修复带宽。
其他文献
乡村振兴是习近平总书记在党的十九大报告中提出的重大战略,战略针对农村与城市发展不平衡、农村生产力发展水平低和产业发展难以突破困境等一系列关乎乡村现阶段发展和未来发展的问题,要求把解决农业农村农民的问题作为现阶段的工作重心,积极部署谋划乡村发展路径。从总体目标、主要任务、实施策略等方面,对当前农村工作的长期发展作出了全新的论述,提出了更加明确、有效、持久的解决办法。会议还指出了乡村的发展需要城市的引
学位
碳化锆(ZrC)因其优异的物化性能而受到关注,被广泛应用于航空航天和先进核用陶瓷材料等领域。然而,ZrC陶瓷主要的化学键为共价键且其扩散系数较低导致其难以烧结成型,从而致使传统的ZrC陶瓷烧结必须要求相当高的烧结温度(>2000℃)并同时在烧结过程中需要一定压力的辅助,这就造成了能耗高、环境污染严重、自动化程度低等弊端。此外,ZrC陶瓷的烧结性能还会受ZrC陶瓷粉末的粒径、团聚程度和碳空位等因素的
学位
目的 研究慢性阻塞性肺疾病急性加重期(AECOPD)患者呼出气一氧化氮(FeNO)水平与肺功能指标、凝血功能指标及评估测试(CAT)评分的相关性。方法 选取2020年2月至2021年1月医院收治的AECOPD患者和COPD稳定期患者各80例为研究对象,分为急性加重期组和稳定期组,另选取同期于医院体检的80名健康志愿者作为对照组。采用FeNO测试仪测定参试者的FeNO水平,并根据FeNO检测结果将A
期刊
期刊
实施乡村振兴战略是新时代做好“三农”工作的总抓手。开展特色田园乡村建设是乡村振兴战略的重要切入口,将为乡村全面振兴打下坚实基础。苏北农村人口多,承担乡村振兴任务更重,发展特色田园乡村对推动“三农”建设意义重大。本文以江苏省特色田园乡村——睢宁县鲤鱼山庄为研究对象,通过对特色田园乡村概念、建设原则和相关公共管理理论等内容进行阐释,采用个案分析法、问卷调查法等方式,实地调研睢宁县鲤鱼山庄特色田园乡村建
学位
爱国主义是当代西方政治学研究的重要议题之一,学者围绕爱国主义的道德正当性问题展开了激烈争论。社群主义者认为,爱国主义是一种美德,具有道德正当性和道德优先性,原因在于个人的道德孕育在共同体的历史和个人成长的历程之中,离开了共同体,个人道德就失去了意义。世界主义者认为,爱国主义是一种偏私的行为,违反了道德普遍性原则,因此爱国主义没有道德正当性。但世界主义没有给个人普遍存在的爱国主义情感保留空间,因此很
学位
在经济飞速发展的过程中,城市化不断向前推进,大量人口涌入城市,在钢筋水泥的丛林里,人们越来越远离自然。激烈的竞争中长期处于快节奏高压状态下生活的人们越来越渴望亲近自然,户外运动项目应运而生。近年来,在“全民健身”的大背景下,人们通过体育运动锻炼身体的愿望越来越强烈,健康理念早已在人们心中生根发芽并成长为当代人社会生活的主旋律,于是在各个节假日里,那些热爱运动的人们,积极投入到户外运动之中,并因此掀
学位
数字表皮作为一种全新的研究领域逐渐被人们所重视。现在对于虚拟世界的构建,更多的是依靠视觉和听觉的表达,在虚拟的环境中,通过人体的感官来体验真实的世界,仅凭声音和视觉的互动方式,已不能完全适应人类现在的需求。数字表皮温感作为获取虚拟信息的新形式,连接着虚拟和真实之间的界线,并且还包括人们多年在现实中的物理对象和世界互动的经验。因此,为了使虚拟环境中的感受更加真实,增强其互动体验和沉浸感,本文从数字表
学位
期刊
近年来,随着5G网络、机器学习、人工智能等新技术的推广与应用,无人驾驶得到了快速发展,将成为露天矿运输的必然趋势。露天矿无人驾驶技术的发展与其经济性有直接关系,现阶段已有相关数据验证了露天矿无人驾驶技术的经济性,但这些数据未考虑整个矿山系统的联动性,经济计算和技术评价范围单一。系统动力学在处理复杂系统问题上具有独到优势,因此本文通过建立系统动力学模型完成了露天矿无人驾驶技术经济评价工作。首先,在常
学位