基于键值存储引擎的元数据管理集群副本一致性的研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:whp6356
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代存储系统中,为了提高数据访问效率,大多采用将文件数据与其元数据分开存储的组织方式进行管理。然而设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法普遍用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。同时针对关系型数据库存在的负载均衡不足、数据可用性和查询性能欠缺等问题,引入键值存储系统,有效地满足了元数据信息的高并发、高性能访问需求。为此,本文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及同步这四个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。本文首先介绍通过一致性哈希映射的方法快速地在复杂的集群网络中定位到元数据;接着利用键值存储系统的特点,提出实现了灵活可靠的副本读写策略;再针对集群中可能出现的故障或节点变动问题,介绍副本的恢复处理机制,提高集群的健壮性、鲁棒性;然后具体描述了副本的更新传播方式与副本的同步检测,保证系统副本数据的最终一致性;最后通过读写测试验证集群高效的读写性能,并进行高并发访问的压力测试,检测系统在高负载的情况下仍能提供可靠的服务。
其他文献
随着信息化的推进,商务智能技术的飞速发展,管理者不再因为信息的不对称、海量的业务数据而头疼,基于业务数据的商务智能技术巧妙解决这一难题,通过数据的分析、整合,挖掘业
随着气象信息化建设和服务水平日益提高,人们对气象资料的需求也越来越大,对历史气象资料的管理挖掘,更好的利用大量宝贵的历史气象资料越来越重要。计算机的普及使得气象资
目前,部队具有驻地分散、偏远、单位编制小的特点,因此,就是使得传统的训练考核模式已经无法满足部队训练考核的要求。随着部队信息化的建设,我们已经具备了进行在线考试系统
随着云计算的兴起和移动互联网的蓬勃发展,越来越多的计算任务和存储资源被放置到了服务器上。全国各地都在新建数据中心,搭建集群系统来应对数据的大爆炸。这些惊人的数据是
随着信息技术的迅猛发展,移动定位已经成为人们日常生活的一大需求。对于室外GPS定位的研究已日趋成熟,人们迫切希望室内定位能和室外定位无缝对接,便利生活与工作。近几年,国内
目前,原发性肝癌是致死率极高的疾病,这是由于肝脏器官中的神经比较少,所以当出现较轻的肝脏疾病或损坏时很难被人体感知,而肝癌具有较长时间的潜伏期,初发的肝癌体积又比较
随着数字媒体技术的发展和计算机网络的普及,数字媒体信息的交流和传输变得越来越容易。但是,有许多问题随着这种便利而产生,例如数字媒体信息被任意拷贝、恶意篡改、甚至伪
云计算作为一种新型计算模式,向用户提供动态的按需服务,已引起众学者和各公司的关注。作业调度是云计算的关键技术之一,对于满足用户需求和提高云服务提供商服务质量和经济
众所周知,云计算是当今社会的一个热门技术名词,作为一种新兴的商业运营模式,用户可以通过使用该平台,利用网络按需获取所需要的计算资源(如存储、应用软件、计算等)。当前所
由于现今社会生活环境是越来越复杂,尤其是对于儿童而言,对于他们成长的不利因素是越来越多,所以出于对儿童保护的目的,本文进行了基于人脸特征的儿童识别以及相关细节的研究