分布式结构化存储系统元数据管理模块设计与实现

被引量 : 3次 | 上传用户:haoxiang123123123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,数据存储提出了许多新的需求,传统的基于关系的数据库存储系统已经不能满足这些需求。本文在研究和分析了现有的典型结构化存储系统的基础上,设计并实现了一个面向POI的,具有高可靠性的分布式结构化存储系统CBase。在CBase存储系统中,POI信息被分布式存储在不同的存储节点上,元数据信息指的是POI信息到存储节点的映射关系。元数据管理模块是CBase存储系统中的一个模块,主要功能是管理CBase存储系统的元数据信息,是本人在项目中的主要负责的模块。元数据管理模块的主要工作和特色如下:1.元数据管理的优化。设计并实现了一个基于R-tree的元数据管理模块,采用写入操作日志的方式,把对元数据操作时可能产生的大量随机I/O转化为顺序I/O,提高系统的吞吐率;2.元数据的容错性设计。为了保证元数据的可靠性,实现了一个基于Paxos算法的一致性协议,对元数据副本进行同步,并针对基本Paxos算法的缺点,设计了Leader租约机制,大量减少了数据同步过程中产生的网络通信。3.快速的故障恢复。系统通过将元数据的操作写入日志文件中,并周期性对元数据进行快照的机制,在系统宕机后,能够使用快照和操作日志快速地恢复系统的元数据。4.海量并发的支持。利用Linux下提供的epoll机制,设计并实现一个高性能的网络编程框架,该框架可以支持海量的并发访问,为IS的各个业务流程提供编程支持。
其他文献
本课题在模拟新疆地区实际工矿和自然环境以提高节水灌溉过流部件抗冲蚀磨损性能的研究背景下,采用搅拌铸造法制备出过共晶成分铝锰合金和Al2O3颗粒增强过共晶成分铝锰基复合
以H5N1型禽流感病毒HA蛋白广谱中和单抗8H5为基础,利用噬菌体展示肽库技术及类病毒颗粒融合表达技术研究HA模拟表位。ELISA检测结果显示:筛选获得模拟HA表位的模拟肽123,进行类
2019年十三届全国人大二次会议于3月5日至15日在北京顺利召开,两会关于房地产市场的宏观调控政策更加明朗。一城一策、房地产税、农村集体用地成为两会关注高频词,涵盖了土地
在这个愈加追求生活品质的时代,建筑工程中较为重要的一项大抵莫过于水暖工程了。随着社会竞争愈演愈烈,建筑施工企业应该更加重视解决常见的水暖安装工程问题,提高水暖安装
我国保险诚信体系的完整构架应当包括保险诚信法律法规体系、保险诚信数据技术支撑体系、现代保险诚信服务体系、保险诚信产品市场体系、保险企业诚信管理体系、保险诚信市场
流行打击乐作为现代音乐教育的重要分支,已经随着教育事业的快速发展而迎来自己发展的高峰。接下来我们将要面临的是,如何使打击乐的教学工作更加高效、更加系统化,这对于大
在网络技术高速发展的今天,电子商务成为当下最热门的元素。人们对于电子商务的狂热已经改变了传统的购物习惯,电子商务作为新兴的商业模式,已成为人们生活不可或缺的重要组
随着网络与通讯技术的不断进步与发展,越来越多的人通过互联网来获取信息,社会的舆论传播格局也发生了巨大变化,网络逐渐成为主要的舆论平台。本文从突发事件的概念、特点和
本文报道了发现于贵州的远盲属和腔蚓属蚯蚓三个新种,即雅致远盲蚓Amyntas eleganus sp.nov,大突远盲蚓Amynthas megapapillatus sp.nov.和贵州腔蚓Metaphire guizhouense sp
自从云计算的概念被提出以后,近几年来得到了极大的推广和发展,业界厂商关于云计算的战略、观点和产品层出不穷,云计算的关键技术研究也呈现百花齐放的局势。云计算是一种新