大规模分布式存储技术研究

被引量 : 74次 | 上传用户:dmjian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet和网络应用的普及和飞速发展,分布式存储技术取得了长足的进步,同时也面临巨大的挑战:日益增加的用户数量,数据分布的地域空间更加广阔,数据存储量爆炸性增长,越来越高的数据可靠性要求以及访问数据的设备种类日益增多等。如何构建大规模、高效率、易于扩展、高可靠的存储系统,是分布式存储技术迫切需要解决的问题。本文从如何提供大规模、高可用、高效率分布式存储服务的角度出发,在对分布式存储领域的最新研究成果进行了系统、全面的学习和总结的基础上,对分布式协作存储、Internet范围内的大规模分布式存储两个方面进行了深入细致地研究,取得了若干创新和成果。本文的主要创新点包括:1、提出了一种分布式协作存储机制—Co-Store。Co-Store将各节点的空闲磁盘空间组织成一个统一的存储池,通过节点之间的相互协作实现数据的容错和共享。Co-Store以P2P完全图拓扑结构组织节点,采用多目录树名字空间、分片冗余以及并行传输等机制为用户提供高效、可靠的存储服务。2、提出了一种基于P2P的海量存储机制—GStore。GStore采用具有高扩展性的P2P体系结构,将大量分散的节点组织成一个逻辑网络,以此构建面向Internet的大规模分布式存储系统。GStore采用动态P2P路由机制、优化的数据分布策略、自适应的副本管理以及并行传输机制为用户提供高效、可靠的存储服务。3、提出了一种P2P动态路由机制—DynRoute。DynRoute针对常用P2P路由算法依赖显式的静态IP地址的问题,解耦全局节点号与IP地址,引入分布式地址映射服务,保证动态地址环境中的正确路由和对象定位。地址映射服务及时检测节点IP地址的变化,完成节点全局标识号NID到节点当前IP地址的映射,并为地址映射<NID,IP>引入安全认证机制,防御IP欺骗。 <WP=6>4、提出了一种分布式数据存储模型。该模型从分布式数据存储的基本需求抽象出描述数据存储策略的性能指标,通过分析和计算各种数据存储方式的性能,为分布式数据存储建立了评价和决策机制,并用多面体视图描述了各种数据分布策略。该模型指导数据如何在节点之间分布,并以较合理的代价满足应用需求。5、提出了一种自适应副本管理机制—AdpReplica。AdpReplica描述了数据可用性、数据一致性维护开销二者和文件副本数的关系,以此建立自适应的副本约束机制。该机制综合考虑用户对可用性、访问效率的需求以及数据一致性的维护开销,对副本的数目进行动态管理,它既能提高数据可用性、降低访问延迟、避免Hot Spots的产生,又能减少维护数据一致性的带宽消耗,为用户提供了较好的存储服务。
其他文献
在炼油厂日常的生产过程中,循环水冷却器是大量应用的换热设备.在实际应用时,由于各种原因,循环水冷却器经常出现垢下腐蚀穿孔的失效情况,这会严重影响到炼油生产的正常运行,
<正> 最近,英国最大的“科恩——威尔克斯”服装厂从远东收到了首批真空包装服装的交货,这些服装是由德士堡有限公司在香港的真空包装站加工和包装的。这批货物共有2,320件涤
未成年人的犯罪与预防是一个法律问题,同时也是一个人们普遍关注的社会问题。它事关未成年人成长,事关社会稳定,事关祖国的未来和现代化建设的伟大事业。本文从未成年人犯罪问题
本文以公路部门企业的国有资产管理为例,分析了实际工作中固定资产管理存在的问题,并采取了切实可行的固定资产管理措施,建立和完善了制约有效的固定资产管理机制、程序严密
<正>一、AV52条款的发展 航空公司机队的航空险保障可大致分为三部分,即飞机机身的物质损失、航空公司因航空事故导致乘客人身伤亡或财产损失依法承担的赔偿责任以及航空公
2011年10月25日,广电总局在其官方网站上公布了《广电总局将加强电视上星综合频道节目管理》(即"限娱令")公告,宣告将从2012年1月1日起正式实行相关规定。 此令一出,立即引起社会
多元的时代使绘画语言创作手段取得多元化的同时,更要求其与个体气质、风格性(民族、时代)和艺术创造本质相一致。 中西现代艺术大师的实践和综合绘画“兼容并蓄、综合创新
研究内容 本文在第一个大问题中从人才的概念入手,分析了什么是人才,即只要具有一定的知识或技能,能够进行创造性劳动,为推进社会主义物质文明、政治文明、精神文明建设,在建设
目前,世界保险的发展变化呈现两大趋势:一是保险市场国际化,二是保险制度市场化。国际保险市场竞争日益激烈,管理水平不断提高。我国保险公司所处的经营环境发生了重大的变化。国
在建筑装潢市场中,天然大理石以其高贵豪华而风靡于世界,但是也有其不足和致命的弱点。一是因为天然大理石是一种矿产资源,其产地在世界上并不是很多,产量有限;二是天然大理石刚度