基于阵列码的分布式存储系统容错技术研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:Robert_1967
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网时代下,传统行业的数字化转型步伐越发加快,传统数据管理中心已无法满足当前爆发式增长的数据存储需求。分布式存储系统因其低成本、高容错性、扩展性好、存储容量大等优势成为了当前存储技术的发展趋势。但分布式存储系统搭建在廉价的PC节点上,随着系统节点规模的不断扩大,节点失效问题也越发严重,因此如何高效地保障分布式存储系统的可靠性成为学术界和工业界重点研究的问题之一。当前主要的两种保障系统可靠性的技术包括副本存储技术和纠删码存储技术。纠删码存储技术因其具有高存储效率、高容错能力、高可靠性等特点而被广泛应用在分布式存储系统中。为了降低计算开销,完全基于异或运算的阵列码被引入到纠删码中以提供更好的存储、计算性能。但阵列码相比于其他纠删码仍有一些问题,例如容错能力低、更新开销大。因此本文从阵列码的容错能力、更新开销等方面对基于阵列码的分布式存储系统展开研究。本文的主要研究内容和创新点如下:(1)针对纵式阵列码X-码的低容错问题,本文提出一种基于子条带编码的高容错方案X-code+,通过将多个X-码结合进行二层编码可以使得它的容错能力从2提升至4。同时,我们针对多节点失效的情况提出了一种基于校验矩阵的修复方案,通过构造唯一的失效矩阵和存活矩阵并进行GF(2)下的矩阵运算可以有效修复失效数据。最后,经过理论分析,X-code+在提高了容错能力的同时,保持了最优的编码效率和更新效率。(2)针对阵列码更新过程中产生的跨机架传输等问题,本文提出了一种跨机架感知的高效更新机制(Cross-rack Update,CRU),CRU主要针对纵式阵列码并优化其更新效率。CRU更新机制主要包括两部分:节点组合算法和选择性日志追加策略。CRU通过节点组合算法匹配出最佳的节点组合,同时结合基于机架感知的日志追加策略来选择性追加日志,可以降低更新过程中的跨机架流量和磁盘I/O次数来提升更新效率。实验结果表明,CRU与基准方法相比,可以减少46.08%的跨机架流量,并提高17.89%的更新吞吐率。(3)EVENODD+码在拓展其容错能力后需要解决多节点同时失效等问题,本文针对各种失效情况总结了对应的解码方案,而且针对两数据节点和水平校验节点同时失效的情况提出了一种基于修复链的高效修复方案,通过构造特殊数据块来迭代修复其余失效数据块,可以有效地修复所有失效数据。
其他文献
自2010年以来,消费级无人机凭借着其价格便宜、可塑性高、应用场景广等优点被广大消费者所青睐,消费级无人机的数量也在与日俱增。然而由于自身故障和外力因素的影响,无人机时常会出现不可控甚至坠毁现象。不比地面机器人,一旦无人机坠毁将对地面的人员和设施造成巨大危害,因此无人机安全问题一直是无人机研发人员和消费者最为重视的环节。本文将从无人机姿态预估这一方面的研究来对无人机安全问题提供解决方法。本文结合机
随着城市交通问题日渐突出,智能交通管理深受城市管理者欢迎。车牌识别作为智能交通管理组成要件中的核心之一,在各种交通场景中被广泛应用,极大提升了交通管理科技化和信息化水平。然而在复杂交通场景下的车牌识别容易受到噪声干扰,尤其是当车牌存在一定程度的倾斜时,导致检测和识别的效果下降。本文针对上述问题进行基于深度学习的车牌识别技术的研究,本文主要工作和创新如下:一、构建车牌检测及识别数据集。在车牌检测方面
阿尔兹海默病(AD)作为一种神经退行性疾病,是引起老年人痴呆的主要疾病。其发展过程与神经元的形态和数量的变化密切相关。显微断层成像技术(MOST)是近年研发的全脑扫描立体成像技术,能提供高分辨率、高精细结构的神经元图像。然而由于大量数据的获得,生物信息学分析处理的速度远远无法达到要求。大量脑部神经元的形态发育及与AD的关系,这些信息都还没有被挖掘和利用。本研究的目的就是通过分析AD鼠脑神经元形态特
在粤港澳大湾区快速发展的背景下,深港两地交流合作越发密切,为深圳和香港带来了巨大的消费潜力和机会,直接推动了深港两地的经济发展与交流合作。作为深港联系纽带的口岸地区,与城市紧密关联,并且跟城市的生活紧密联系。因深港陆路口岸直接衔接深圳主城区,使其入口广场被赋予超出通行之外的更多职能,使用者的需求多元而空间难以满足。因此,本文基于使用者需求的视角,来探讨分析陆路口岸入口广场空间特征,并提出具有针对性
智能交通系统可以提高交通设施运行效率,车流量在智能交通系统中有举足轻重的位置。微波雷达车流量检测技术由于抗干扰性好、可全天时、全天候工作得到人们的广泛关注。目前针对非主干道、特定地段的车流量检测技术研究较少,本课题基于此出发点研究了便携、低功耗、可移动式的雷达车流量检测技术。通常来说,该类车流量检测仪要求雷达模块小型化和低功耗。但低功耗的特点意味着其检测目标的信噪比较低,面对复杂的城市道路时检测难
阿尔茨海默病(Alzheimer’s disease,AD)是一种年龄相关的神经退行性疾病,临床症状表现为记忆障碍、生活能力下降和失语失认等慢性认知功能损伤。AD的主流特征病理主要是由胞外β淀粉样蛋白沉积形成的Aβ斑块和胞内的Tau蛋白聚集成的神经纤维缠结所组成。而Tau蛋白是目前研究AD机制和防治药物的一个重要靶点,且目前越来越多证据支持Tau蛋白的寡聚体是最具神经毒性的形式,其因为分子量小、形
在经济增长和计算机技术不断发展的背景下,多目标优化问题已经成为了科学研究和工程技术中的一个研究热点.针对多目标优化问题的求解,本文提出了一种混合多目标问题求解算法,同时提高了求解多目标优化的粒子群算法的种群多样性,通过测试函数、无人机的航迹规划和图像风格迁移验证了算法的有效性,具体研究工作如下:(1)针对多目标优化问题的求解,本文首先结合具有良好收敛性的基于分解的多目标进化算法(Multi-obj
随着社会经济的不断发展,瞬息万变的外部环境对组织快速反应能力的要求越来越高,这导致以任务为导向的临时团队被越来越广泛的接受。由于临时团队大都是短期内组建的,团队中的成员多来自不同的组织或部门,彼此之间并不熟悉,因此临时团队成员之间往往缺乏信任。信任的缺乏会导致临时团队成员在共事时质疑他人的动机,在利益分配时又会针锋相对,这降低了临时团队的运作效率。由于临时团队的生命周期有限,临时团队成员无法像传统
目的:阿尔茨海默病(Alzheimer’s disease,AD)是一种神经退行性脑疾病,发病比较隐匿。因病因迄今未明,尚无有效治疗药物,给家庭和社会都造成巨大压力。本课题组前期研究结果显示,硒甲基硒代半胱氨酸(SMC)可显著改善AD模型小鼠的行为认知并减轻相关的病理指标,在此基础上本课题利用蛋白组学技术进一步研究了SMC干预AD发展的分子机制。同时本课题选取另外一种有机硒化合物Ebselen,研
人类视觉系统的注意力机制指出,人在观察和评估图像质量的过程中,是由自底向上和自顶向下两部分协同作用,来提取和注意到关键的区域信息。同时,我们观察到真实场景中的图像可能包含多种失真,即使只含有一种失真,其对图像各个区域的影响程度也不一样,因此针对关键的图像区域进行分析和评估对整张图像质量评估十分重要。在图像质量评估领域,直接对图像的失真区域进行标注是一项耗时耗力的工作。因此,现有的工作一般是在无参考