分布式存储系统中失效节点修复技术研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:jiangxueying0518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代对传统存储系统的各项性能提出了全新的挑战。由于传统存储系统在大规模数据存储方面存在诸多缺陷,如系统扩展性差,数据安全性低,部分节点读写压力过大等,所以分布式存储系统凭借其优秀的可扩展性,可靠的数据安全保障机制,以及大规模读写操作时出色的吞吐性能等,成为当前大规模数据存储领域的主要解决方案。但因为分布式存储系统的底层设备普遍采用廉价商用硬件,故障率较高,所以会通过应用冗余策略来保障存储系统中数据的安全性。
  与传统副本冗余策略相比,纠删码能够在同等冗余需求的前提下,尽可能的降低整体存储开销,但是纠删码冗余策略在节点修复过程中会产生较大流量并且修复速度较为缓慢。现阶段研究者们通过改善纠删码的编解码机制以及寻求更优秀的修复拓扑来克服上述劣势,但研究仍存在部分缺陷。首先,多数文献对于减少修复流量和降低修复时延的研究都是相互独立的,但事实是单纯优化修复流量会导致修复时延增加,而不考虑修复流量的修复时延优化可能会因修复流量过大导致网络拥塞;其次,大多数研究只考虑了链路带宽异构所对修复时延的制约,忽略节点处理能力异构对整体修复速率的影响,但随着编码规则的复杂化及修复拓扑规模的增大,节点对修复数据的处理时延也会随着节点处理能力的异构以及编码复杂度的增加而无法忽略;然后,针对多节点并行修复的研究较少,并且编码机制都相对复杂,缺少从单节点修复模式推广到多节点修复模式的研究;最后,现有修复机制普遍通过构建最优修复树来实现节点修复操作,但多节点修复方法普遍假设各修复树边不相交,由于其多棵修复树采用顺序构造,会使得拓扑中的高可用带宽链路链路被先构造的修复树独占,导致修复速率随修复树个数增加而降低,该设计的合理性存在一定缺陷。
  针对上述的问题与挑战,本文对分布式存储系统中纠删码冗余机制下的节点修复过程展开研究,主要工作及创新如下:
  (1)针对应用最小存储再生码MSR(Minimal Storage Regenerating)的单失效节点修复场景,设计一种新的单失效节点修复拓扑,综合考虑集群中链路可用带宽与节点处理能力的异构,对节点修复时延以及修复流量进行组合优化。将该拓扑转化为一个带有约束的StenierTree模型,设计相应的混合遗传算法求取全局近似最优解,最终实现两个优化目标的tradeoff。仿真结果表明,在同等规模的MSR码下,本拓扑的修复时延为传统树型修复拓扑的70%~90%,且仅为传统星型修复拓扑的35%~45%。虽然本拓扑内部的修复流量较传统星型拓扑增加了10%~20%,但对比传统树型拓扑,修复流量仅为其45%~60%。
  (2)针对最小存储再生码(MSR)的多失效节点修复场景,通过将(1)中提出的单失效节点修复拓扑方案进行推广,并在其中加入允许对集群中高可用带宽链路进行复用的思想,设计出一种新的多失效节点修复拓扑方案,将多节点修复问题抽象成一个以修复时延和修复流量为目标函数的带约束优化问题,并设计相应的混合遗传算法进行求解。通过仿真实验的对比,在同等存储规模下,本文所多节点修复方案的修复时延较传统采用再生码的星型修修复方案减少了60%~80%,与采用边不相交思想设计的树型修复方案对比,本方案的修复时延也大幅降低,并且修复流量仅为传统边不相交树型修复方案的30%~40%。
其他文献
近年来,黄花塘镇坚持因地制宜,始终将生态优先理念融入特色产业发展,加快农房改善项目与文旅产业有机融合,立足于我为群众办实事,徐徐舒展开“文旅+产业+农房”的美丽乡村画卷。  慢烹细品锁鲜香,记忆老鹅舌尖味   “老板,你家的烧鹅真是太香啦,一会儿吃完再帮我打包一份,带回去给朋友尝尝!”一位游客对老鹅赞不绝口、直呼过瘾。   将鹅毛用镊子拔净并切块,翻炒十五至二十分钟,香喷喷的鹅油从肉中溢出,再放入
期刊
酒店管理是一门学问,而且还是实践性非常强的学问。有这样一句名言“酒店是社会中的社会,城市中的城市,家庭中的家庭”。可见,酒店又是一个非常复杂的经济实体,它以其特有的有形设施和无形的服务,构筑成以人为本、和谐传情的服务主体。   朱光武先生,1962年6月8日生于香港。现任宏源投资(香港)有限公司董事長、金湖宏源国际大酒店有限公司执行董事总经理,江苏省旅游饭店协会理事、淮安市烹饪协会执行会长,201
期刊
为什么我的眼里常含泪水?因为我对这土地爱得深沉。———艾 青      在台商马景鹏的脉管里,同样奔腾不息着父辈传承给他的血液,鲜红而炽热。   马景鹏,1958年出生于台湾新北市,祖籍灌南县花园乡(现灌南县新集镇)陡湾村。自从懂事起就在父亲的灌输下对大陆那头的家乡有种莫名的向往,至今仍记忆犹新的是父亲常对他说的,他们的老家在“江苏省灌云县响水口障西乡陡湾庄”十五个字。而记忆最深刻的,则是父母与舅
期刊
凤城泰州“凤凰墩”上梅兰芳纪念馆内,收藏着一幅1957年周恩来与梅兰芳亲切交谈的合影。旁边镌刻着一段周恩来对梅兰芳的评介:“梅兰芳这位伟大的艺术家,不仅是属于中国的,应该说,他是属于世界的。”这一照一评正是周恩来身体力行,亲自开展统战工作,广交党外朋友的最佳写照,充分展现了周恩来对统一战线代表人士的深厚情谊,和做好统战工作的高超艺术。  周恩来亲自做梅兰芳思想工作   做好党外代表人士思想政治工作
期刊
大数据时代,信息的数量和形式愈加庞大多样,传统的信号处理技术已不能满足人们对信息的正常需求。压缩感知(Compressive Sensing,CS)作为一种全新的现代信号处理理论,突破了奈奎斯特采样定理的限制,能够用较低的采样率实现对稀疏信号的精准重构,大大降低信号获取、传输、存储和处理的成本。基于这些特点,压缩感知理论一经提出就引起了广泛关注,被应用到了诸多热门领域中。本文研究的是压缩感知理论在图像融合和数字图像水印两个领域上的应用,主要工作内容如下:
  (1)提出了一种基于小波变换的压缩感知图
如今的深度学习算法,大多需要通过海量的数据集来训练神经网络,然而在很多应用场景下,获取样本十分不便,从而导致样本数据十分匮乏。而少样本学习任务的目的,则在于可以从单个或少量的训练样本中快速学习。元学习方法,通过总结抽象出不同任务之间一般化的元知识,然后将元知识快速应用到新的,未曾见过的任务上去,从而去解决少样本学习的问题。因此,本文以少样本图像分类问题为研究对象,研究如何利用元学习方法来优化度量模型,从少量图像样本中快速学习归纳。论文的主要内容如下:
  (1)构建了元关系网络来解决少样本分类问题。
针对新兴的网络应用和复杂的网络结构,拒绝服务(DoS)攻击仍然非常活跃。慢速拒绝服务(LDoS)攻击属于DoS攻击的一种变形,对网络安全具有更强的威胁性。LDoS攻击主要利用TCP协议的漏洞,周期性地发送攻击脉冲,导致网络不断地在稳态和非稳态转换,严重降低网络性能和服务质量。LDoS攻击具有平均速率低、隐蔽性强的特点,能轻易地逃脱传统的DoS攻击防范机制。但是,已有的LDoS攻击检测方法仍有可进一步完善的空间:检测准确率有待进一步提高、误报率有待进一步降低、自适应性有待进一步扩展。因此,为了更有效地识别L
农田稻谷飘香,堤岸风车转动,宽阔的柏油路一路延伸,整齐的农房掩映在碧荷秀水间……走进金湖县,一幅美丽的田园画卷展现在眼前。   近年来,金湖县立足自身资源禀赋和发展优势,加快建设更富魅力的现代化水韵湖城。大力实施“融入融合、双招双引、美丽生金、共富共享”四大战略,全力推进“产业扩量提质、生态特色彰显、城乡内涵提升、动能集聚迸发、百姓幸福安康”五大工程,致力于美丽生金,让共同富裕真正“看得见摸得着”
期刊
近年来,人工智能技术开始逐步地落地到智能驾驶行业,衍生了一些先进的汽车辅助驾驶系统。但这些系统针对的主要对象是机动车及驾驶员,对行人和骑车人的保护依然有限。现有的行人和骑车人检测算法采用两个单独的检测器分别进行检测,常导致两类目标的检测结果混淆。而现实的道路环境复杂多变,检测目标存在尺度变化,相互遮挡等问题,传统的检测方法仅适用于简单和单一的检测环境,无法满足现在道路环境要求。针对上述问题,本文利用深度卷积神经网络,特征融合和注意力等技术,对道路行人和骑车人检测算法进行研究。具体研究内容如下:
  
作为用户创建和分享信息的平台,社交媒体已经成为人们生活的重要组成部分,每天越来越多的人通过社交媒体发布海量的多媒体内容以表达自己的观点和情感。针对这些用户生成数据的情感分析能够有效分析用户行为和心理,发掘用户需求,具有重要的应用价值。随着社交媒体中用户发布的视觉内容日益增多,视觉情感分析引起了广泛关注。
  与目标识别任务不同,图像的情感识别是一种更加抽象的任务,其关键在于提取判别性的视觉特征。深度学习方法能够从大规模数据中自动学习特征,被广泛应用于视觉任务中。目前已有研究将深度学习技术与视觉情感分