结构化存储系统中元数据集群的设计与实现

来源 :电子科技大学 | 被引量 : 3次 | 上传用户:jian47312144
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着技术的发展与信息数字化的推进,大量的数据需要被永久存储,而且存储的容量也呈指数上升。在海量数据的时代,如何有效存储大规模数据,并且提供常用接口是一个研究的热点。结构化数据发展多年,形成了大家都易于接受的接口和一系列标准,但是关系型数据其存储容量的限制使得它很难适应海量数据的需求。本文通过对分布式存储技术的分析研究,结合当前的主流存储相关的产品的设计思路与应用需求,提出了海量结构化数据存储的一套合理的解决方案,并且实现了一个结构化存储系统。系统利用分布式思想,将结构化数据分拆成很多分片,各个分片独立存储在不同的存储节点之上,充分利用各个节点的存储资源。论文的主要研究工作为以下几点:1、结构化存储系统的设计,利用分布式思想,将系统分别部署在多个节点之上,然后将对数据的操作分割成多个相互较为独立的子过程,然后由各个独立部署的服务节点完成相应的功能。2、系统元数据集群的设计实现。使用集群技术来存储海量的元数据信息,以满足整个系统的存储需求,利用Epoll非阻塞的通信技术提高系统的网络吞吐量,避免由于元数据集群的读写性能成为制约整个系统性能的瓶颈。同时实现集群内部的负载均衡调度,根据集群本身的特点,通过集中式的调度管理策略来实现整个集群内部的访问热点和存储的负载均衡。3、系统元数据集群的容错设计实现。为元数据集群设计副本冗余和双机热备冗余相结合的容错方案,其中对调度节点实现双机热备冗余的容错系统,对存储节点实现多副本控制的容错方案,提高集群的可靠性和健壮性。通过功能测试和压力测试的数据表明,整个结构化存储系统的功能完整,在压力情况之下,系统能够正常运行,且能够在较为合理的时延下完成大规模用户对系统的操作请求。
其他文献
该文题目来源于中国石油勘探与生产分公司的科研项目.该文研究了目前流行的WEB开发技术,主要包括WEB页面的处理技术、JAVA技术、JSP技术、JAVABEAN以及JAVA数据库连接技术等
随着数据库的增加和数据量的不断增长,数据挖掘已成为从数据库中获取有用知识的重要手段,其中,关联规则挖掘其中的一个重要分支,它侧重于挖掘数据库中项集之间的关联或相关联
目前,基于Internet的应用正以前所未有的速度向前发展,随着网络技术的不断更新和应用的不断深入,应用系统的发展也经历了几个阶段性的跨越。从传统的计算模式中分离出来,应用服务
Web Services是当今IT业界的关注热点。Web Services的主要目标就是在现有的各种异构平台的基础上构筑一个通用的与平台无关、语言无关的技术层,各种不同平台之上的应用依靠这
随着计算机网络技术的发展和应用的广泛,网络入侵事件发生的越来越频繁,造成的危害也越来越严重,网络安全问题日益突出。因此,入侵检测已经成为网络安全领域研究与开发的新热点。
广域存储虚拟化是局域网存储虚拟化技术在广域网上的拓展。它负责管理分布在广域网上不同自治域中的数据,实现对分散数据的统一访问控制和用户间的数据共享,为用户提供高效、
随着汽车普及率的提高和公路交通需求的增加,交通问题日益突出,利用计算机技术来对交通进行有效管理和控制的智能交通系统日益受到人们的重视。在智能交通系统中,车牌的定位和识
Agent协作是多Agent系统研究的重要问题之一,也是多Agent系统一种有效的求解方式。针对多Agent协作的研究工作中所存在的主要问题,本文主要研究了UMA协作模型及其应用。UMA模型
随着人们对计算性能需求的不断扩展和技术的快速发展,多核的发展日趋成熟并且已经开始在传统PC甚至嵌入式领域广泛应用。然而,随着芯片集成度的提高,功耗已经和性能、时钟频率、
本文分析GIS在功能和数据共享上存在的问题及不足和新型分布式Web服务技术,研究了当前的Web服务技术原理和特点,根据GIS发展的需求,探讨了Web服务技术在GIS数据和功能共享方