海量数据P2P分布式稳固存储方法与优化研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:kulahai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量数据P2P分布式稳固存储是以现有P2P技术为基础,由网络上大量P2P存储结点间相互协作,按照存储数据资源共享的系统服务原则,从而实现有机构成的分布式高可靠对等存储体系。P2P分布式存储系统所面对的是高动态化的网络存储环境,各P2P存储结点存在着自主的用户行为特征和非线性的在线/离线变化,对这种高度复杂的大规模分布式存储系统进行存储稳固性研究是一个具有挑战性的课题,会带来许多传统分布式存储体系很难有效解决的存储管理问题。本文围绕着与海量数据P2P分布式存储系统相关的存储结构规划和存储组织管理进行研究,其目的是在现有的网络条件下构建具有稳固存储服务能力的P2P存储体系。海量数据P2P分布式稳固存储是一个综合性问题,它要同时面对海量数据的稳固存储需求和P2P分布式存储的复杂应用环境,上述两方面形成既相互关联又相互制约的系统研究模式。在此基础上,借鉴传统分布式存储系统的已有研究成果,结合P2P技术引入的分布式存储新特点,通过对P2P分布式存储系统进行合理的存储架构及其管理方法优化,从而弥补P2P存储模式下松散组织关系与数据稳固存储的固有矛盾,并运用仿真实验和系统案例来验证所提方法的有效性。本文的主要工作和创新点主要包括以下几个方面:(1)针对海量数据P2P分布式稳固存储的整体概念问题,通过分析P2P分布式存储系统所具有的工作特点,提出将P2P稳固存储划分为持久存储、稳定访问和突发抗毁的三类基本能力特征,以符合P2P分布式存储系统的应用需求及其运行规律。在此基础上对实现P2P稳固存储的系统模块构成进行总体归纳,得到反映系统不同稳固存储能力特征的可靠性模型,并选择恰当的可靠性指标来描述不同的存储稳固性,从而为本文的后续研究工作提供模型化参考。(2)针对海量数据P2P分布式稳固存储的结构规划优化问题,通过合理的P2P数据冗余存储组织结构来提高存储系统的整体容错水平。本文的结构规划研究重点讨论了两方面内容:首先,在P2P冗余存储方式方面,本文根据完整副本冗余和纠删编码冗余的分析比较结论,选择了具有最佳纠删能力的MDS纠删编码作为稳固存储的冗余存储方式,通过存储–管理开销的存储效能函数来设定MDS纠删编码冗余存储的冗余参数,并根据纠删编码原理构造n值扩展的系统码MDS纠删编码方案以进一步提高冗余存储的存储性能。其次,在P2P冗余存储结构方面,本文通过对P2P纠删编码冗余存储结构的性能退化进行分析,提出了一种适合于P2P存储模式的SegEra分段纠删编码冗余存储结构,根据SegEra的分段大小建立能够反映存储结构效益的规划模型,并根据存储结构效益规划模型的求解结果得到满足优化条件要求的SegEra存储结构参数。(3)针对海量数据P2P分布式稳固存储的组织管理优化问题,通过适应于P2P存储架构的复杂协作环境形成满足稳固需求的管理方法。本文的组织管理研究重点讨论了三方面内容:首先,在P2P失效维护机制方面,本文通过分析P2P存储数据暂时失效与永久失效的行为特征,提出了一种优化结点数据失效判定准确性和恢复及时性的维护方法,根据P2P存储结点的离线时间长度记录来预测下次的期望离线时间,采用平稳小波变换结合BP神经网络来预测出期望值的渐变和突变趋势,并根据预测结果建立出P2P存储数据的延迟修复效益模型以保证失效数据的优化维护。然后,在P2P分层组织机制方面,本文根据P2P分布式存储系统的强/弱结点架构的评估结果,采用了技术接受理论来描述P2P存储结点的能力变化规律,建立元胞自动机模型来分析结点能力演化对系统的整体影响,并以此提出基于结点服务能力划分的存储管理方法,将P2P存储结点归为联合存储层、协作存储层和共享存储层,采用区别化的存储管理改善协作存储关系以提高稳固存储效果。最后,在P2P抗毁分布机制方面,本文针对一般存储数据分布方法所存在的不足进行探讨,引入了网络抗毁条件作为P2P冗余存储数据的分布考量因素,通过建立基于经典网络抗毁理论的数据存储分布模型,将数据的存储抗毁能力与数据冗余分布相联系,根据存储数据的分布拓扑进行存储抗毁能力的测度设定,从而构造出存储抗毁优化的P2P冗余存储数据分布方法。
其他文献
目的探讨关节镜辅助下内侧髌股韧带(MPFL)重建治疗复发性髌骨脱位的方法和临床疗效。方法将2008年7月至2010年9月该院收治的复发性髌骨脱位13例患者,全部采用关节镜辅助下自体
目的研究在肿瘤化疗患者中应用植入式静脉输液港的临床效果与价值。方法本院选取从2014年4月至2015年4月所收治的肿瘤化疗患者共218例作为研究对象,将随机数字表法作为分组方
从20世纪80年代中期开始,VLSI技术的进步推动了现场可编程逻辑器件(如FPGA)的快速发展。目前,将传统微处理器与可编程器件集成在一起的混合式可重构计算系统正在成为主流计算
对一类广义Rosenau‐Kawahara方程的初边值问题进行数值研究,提出了一个两层非线性有限差分格式,合理模拟了问题的两个守恒性质,得到了差分解的先验估计和存在唯一性;利用能量方
网络课程是在网络环境下开展教学的一种有效且实用的利用教学资源的载体形式。而优质的网络课程则依赖于先进的网络资源平台,它不但为学生提供个性化的自主学习空间和丰富的学
随着集成电路制造技术的发展,芯片的速度和集成度不断提高,功耗密度显著增大,同时为了延长手持设备中电池的使用时间、降低芯片的封装及散热成本,必须在芯片设计时特别考虑功耗因
在材料科学领域,颗粒的均匀分散是获得具有较好的显微结构和性能材料制品的基础。采用分光光度计法表征分散效果,研究了超声波及不同分散稳定剂复合作用下纳米SiO2、纳米CaCO
研究了包含尘埃颗粒以及玻尔兹曼分布的离子和电子的非磁化尘埃等离子体中的非线性包络孤波.运用约化摄动方法得到了(1+1)维非线性薛定谔方程,并通过数值方法分析了任意尘埃大小
针对一类具有饱和执行器的不确定脉冲系统,研究了鲁棒线性反馈镇定及其吸引域估计问题。首先,对给定的状态反馈控制律,引入与脉冲时间序列关联的Lyapunov函数,并结合饱和函数的凸
计算机的发明为人类探索世界提供了有利的支持。随着科学技术的发展,人们对计算机处理信息能力的要求愈来愈高,但是传统的计算机体系结构由于其自身内在的限制显得力不从心。人