基于文件访问需求的分布式存储系统放置策略研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:xiaocai_01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机和网络技术的发展和普及,人们对于计算和存储的需求越来越大,TB级别数据以及PB级别的数据需求已经越来越普遍。因此,基于计算机网络技术的分布式存储系统成为研究热点。分布式存储系统是将分布在不同区域的计算机通过网络进行互联并协同工作,以向用户提供海量数据存储功能的系统。分布式存储系统中的每个存储节点都是存储系统中的一部分,用户可以不用关心自己的文件具体存储在什么地方,而完全由分布式存储系统统一进行分发和调度。从大型互联网公司到金融和政府等对文件存储有较高要求的部门,到处都有分布式存储系统的应用,分布式存储系统的应用已经越来越广泛。  文件放置问题是分布式存储系统中的一个主要问题。存储系统的放置策略处理如何把用户的文件放在相应的存储节点上,以使得分布式存储系统具有较高的负载均衡性,良好的可扩展性,以及比较高的容错能力。分布式存储系统的放置策略相关的研究工作主要解决异构存储节点之间的容量负载均衡问题,但是对于异构的文件请求,即文件大小不同的情况,相关的研究工作并没有过多考虑,多副本之间的相关性也并没有综合考虑,没有一个合适的评价副本相关性的指标。而且随着网络应用的不断发展,分布式存储系统具有了新的特性,即文件本身具有更多的访问需求,例如音频视频文件需要存储节点提供较高的网络带宽和计算处理能力,文档文件需要存储节点提供较高的可靠性等等。这些新的特性对传统的分布式存储系统提出了更高的放置要求。  针对上述问题,本文提出多级文件访问需求组放置策略,先将文件映射到能提供合适的访问需求的设备组中,然后在组内使用动态区间多选放置策略对文件进行放置,使得分布式存储系统可以将带有访问需求的文件放在合适的存储节点上,以便系统可以对不同的文件提供合适的服务质量,并同时保证分布式存储系统的负载均衡性和可扩展性。在此放置策略基础上,本文使用弱相关性的主从副本放置策略,使得存储系统提供更高的容错能力。首先将存储节点按照容量划分成容量大致相同的几个逻辑区段,并将文件的每个副本放置在不同的逻辑区段内,使得每个区段中存在一个文件副本,在区段内的放置使用上述提到的多级文件访问需求组放置策略,使得不同逻辑区段间的多个副本相关性较低,且区段内满足文件访问需求和存储负载均衡。  本文在理论分析基础之上,设计和开发了分布式存储系统的一个仿真实验平台,对所提出的放置策略进行仿真和实验,并将实验的结果与传统的放置策略进行多方面的比较。实验结果表明,本文提出的策略在文件访问需求满足度、负载均衡性和副本相关性等方面都优于传统的文件放置策略,并有很强的应用实践意义。
其他文献
在基于位置服务数据的数据挖掘研究中,数据处理能力已经成为了分析的瓶颈。虽然基于MapReduce计算模型人们可以通过多机并行相对快速地完成计算,但是由于MR模型对数据结构及任
随着计算机制造技术和网络通信技术的飞速发展,计算机的处理能力得到不断提升,网络带宽也不断增大。随之而来的各色应用需求和复杂的应用环境,导致分布式应用系统趋于复杂,系统规
随着无线通信技术的迅速发展,出现了多种无线接入网络并存的局面。将不同无线接入技术、不同传输性能的网络融合到一起构成的单个逻辑网络称为异构无线网络。相比起底层接入
随着互联网的发展和普及,Web信息出现了爆炸式的增长,搜索引擎已成为人们从这些海量信息中获取所需信息不可或缺的工具。但在搜索结果中,排在前几位的并不是用户真正所需的网
近年来,随着网络的发展,现代人对信息沟通和处理的需求越来越迫切,这使得自然语言处理以及相关的应用领域得到了迅速的发展。而由于句法分析在自然语言处理研究中的关键地位及其
广域网文件传输速度慢是目前各大网络公司面临的问题,针对这些情况,探讨了采用重复数据消除技术减少数据传输量,从而提高网络传输速度。在实现重复数据消除的网络节点,探讨了
本文主要通过分析三网融合后故障管理的特点和智能故障管理现有的方法的优缺点,提出了一种改进的基于支持向量机的告警预测方法和一种增量的实时告警刷新方法,主要工作为:(1)
高效的查询执行效率是数据仓库管理系统开发时最大的关注点。最近的研究表明,底层数据以列存储的方式进行组织,能够更好地适应数据仓库管理系统面向查询的特征,能够在执行过
近年来,复杂网络得到了越来越多的关注。复杂网络研究的最终目标是为日常生活设计出鲁棒性高的系统。但是日常生活中的系统经常会遭受一些无意的破坏甚至恶意的攻击。因此,研究
目前,无线传感器网络由于其低功耗、低成本、分布式和自组织等优点在各种应用环境中都得到了使用,但是由于需要大范围的布置在露天或者野外环境中,传感器节点很容易受到攻击者挟