基于DHT的数据冗余存储技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:robitewx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络与应用的发展,信息呈爆炸性增长趋势,数据达到前所未有的规模,大规模数据中心的存储压力正迅速增长。基于分布式哈希表(DHT)的对等存储系统由于其良好的扩展性以及快速的数据存取能力,已成为当前大规模数据存储研究的热点。基于DHT的数据存储系统具有动态性和异构性,导致数据随时可能丢失。因此,如何保证DHT系统的高可用性成为研究DHT存储系统的关键问题。本文对基于DHT的存储系统的冗余机制和基于柯西矩阵的纠删码技术进行了研究,通过将文件分割后编码与单副本结合,给出了一种1N混合的冗余存储策略。本文的主要工作概括如下:1.概述了分布式哈希表的设计和几种常见的DHT协议,详细分析了传统的副本和纠删码两种数据冗余机制,阐述了运用在DHT存储系统中的RS纠删码。2.详细研究了基于柯西矩阵的RS纠删码,通过线性变换的思想给出了一种改进型柯西矩阵的构造算法。实验结果表明基于改进型柯西矩阵RS码比传统RS码的编码和解码效率都提高了10%左右。3.给出了一种混合的冗余数据存储策略,该策略将数据文件进行分割后使用纠删码同时结合单副本,从而在相同的冗余度下有效地增加了系统的可用性,并在提高访问服务效率和减少了路由访问节点数的同时,降低了网络维护开销。仿真结果表明本文所给出冗余数据存储策略的有效性。
其他文献
支持向量机(Support Vector Machine, SVM)是一种基于小样本学习理论的有效分类方法,近年来已成为国内外机器学习的一个研究热点。本文以SVM为基础,对直推式支持向量机(Transdu
人脸识别技术是生物特征识别的一种,它涉及了生理学、心理学、图形学等多个学科知识。和其它生物特征识别类似,人脸识别技术是通过提取人脸这一生物特征对人的身份进行确认。它
随着地理信息系统的广泛应用,它正逐步融入人们的日常生活,得到了越来越多用户的使用。由此空间信息服务系统面临着重大的挑战:大量并发用户的在线请求降低了服务器的性能;海
形式概念分析是一种有效的知识表示与知识发现工具,在数据挖掘、知识发现、信息检索等领域得到了广泛的应用。在形式概念分析的应用过程中,首先要构建概念格,因此建格算法的效率
随着计算机网络的普遍应用,分布式系统已成为计算机应用的基本形式。由于分布式算法是分布式系统中的关键技术之一,并影响着系统的性能,所以它得到了学者和工程师们的高度关
传统群体仿真技术常把群体看成若干个体的组合,但事实上群体是由若干具有相似行为的个体组成的群组所构成的。针对大多数现有群体仿真技术由于没有考虑到上述因素,导致仿真结
分形几何为人们描述客观世界提供了一种比欧式几何更加有效、客观的工具,并在自然科学和社会科学中得到了广泛的应用。本文在研究分形理论后,对传统基于分形维数的边缘检测算法
音乐分类作为音乐信息检索(Music Information Retrieval,MIR)领域的一个重要分支,常用于音乐检索和音乐推荐。现有的音乐分类方法从音乐的流派、感情、乐器、艺术家和标注五
有限元分析(Finite Element Analysis)是最常用的工程分析模拟方法,已经被广泛应用于复杂产品的设计与开发中。有限元网格模型生成是进行有限元分析的关键一环,其质量直接影响分析的精度与速度。为了保证有限元网格质量,在有限元网格生成后需要对其进行拓扑优化,然而现有拓扑优化算法都十分耗时。为此,本文研究基于样本学习的有限元网格拓扑优化方法,将机器学习技术引入有限元网格拓扑优化之中,以提
近年来,随着互联网的快速发展,互联网上的信息量日益增长且呈现多元化的特点。于是如何能够迅速、准确而高效地为互联网用户定位所需要的信息,成为搜索引擎的主要目标。通用