分布式内存数据库数据并行快速加载与索引技术

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:shepuqi4709
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网行业的高速发展,以及“大数据”、“云计算”等概念的普及,数据的爆炸性增长在大容量、多样性和高增速方面,全面考验着现代企业的数据处理能力。对于已经成熟的传统数据库技术来说,计算机网络技术的快速发展以及行业应用的扩展需求使得传统数据库技术在很多使用场景下受到了很多新的挑战。在这个形势下,分布式数据库和内存数据库的概念应运而生。分布式数据库相对于传统集中式的数据库具有良好的灵活性与可扩展性、在处理海量数据时在性能上和可靠性上有着更大的优势。而内存数据库则是将要处理的数据存储在内存而不是磁盘中,因此其读写性能要比磁盘访问高出几个数量级,从而极大地提高性能。将分布式和内存访问结合在一起的分布式内存数据库可以兼顾可扩展性和高速访问两个特点,在当前形势下为用户提供更多的功能。相比于磁盘来说,内存是很宝贵的资源,因此在大部分场景下分布式内存数据库在生产业务中主要扮演的是计算平台的角色,并不作为存储数据的主数据库,其数据很多还是存储在传统磁盘数据库中。如何将存储在传统磁盘数据库中的海量结构化数据快速加载到内存中是分布式内存数据库首先要解决的问题。针对这个问题,本论文提供了一个将存储在磁盘型数据库中的结构化数据快速加载到分布式内存数据库系统中的解决方案。首先针对原有的结构化数据提供了一套新式的快速索引模型,能够实现数据的高效存储和快速查询。然后通过分布式系统的方式把原始的结构化数据建立成内存数据索引并加载到分布式内存数据库存储引擎中。除此之外,该解决方案能够支持用户喜好数据的数据过滤,并提供增量数据更新功能。论文的主要研究工作包含以下几点:1、设计出一种针对内存数据库的内存数据索引模型,实现数据的高效存储和快速查询。该索引模型基于列式数据存储,可以对原有数据进行压缩并提供快速的查询效率。2、根据内存数据索引模型,设计分布式内存数据库数据并行快速加载方案,将存储在外部数据库中的传统结构化数据加载到分布式内存数据库引擎中。该方案能根据用户喜好对数据进行过滤,然后创建内存数据索引,然后根据一定策略将数据加载到分布式内存数据库引擎中。3、在数据全量加载的基础上设计数据增量加载策略,根据一定的策略进行数据的增量加载,保持分布式内存数据库系统与外部数据库中的数据同步。4、采用分布式架构进行海量结构化数据的并行读取,可以提高数据处理速度、缓解节点负载压力和提高节点安全性,提高数据加载的速度和稳定性。
其他文献
针对长期以来橡胶圈加稳径向气体轴承的偏位角与偏心率在试验中'测不准'、在理论上难以分析的问题,通过引入绝对坐标系与相对坐标系下绝对偏心率、相对偏心率、基础
米其林轮胎正在设计和开发一种新型拖车专用轮胎——米其林X One Maxi Trailer。该轮胎可重刻胎面花纹,与传统设计相比,轮胎行驶里程、抓着力和负荷能力可提高50%。同时,该轮胎也
使用自行设计的一种往复运动的微摩擦测试装置,考察不同介质环境下,蛇类表皮及其表皮的摩擦特性。研究结果表明:在干摩擦下,蛇向后运动时的摩擦因数是前向运动的摩擦因数的1.2—4.1
在强调素质教育的当代教育改革中,校园戏剧教育越来越有可能成为课堂的延伸和补充,其已成为青年学生完善自我人格、积淀人文素养的优良载体之一。文章试图厘清校园戏剧的人文
期刊
以摄影测量共线方程为严格配准模型,提出了一种引入针孔成像模拟过程的单张航空影像LiDAR点云配准迭代方法,共分为3个阶段:第一,利用航空影像内参数及初始外方位元素对LiDAR
合成了生物活性玻璃粉末,采用无压烧结工艺制备了Y—PSZ/BGC复合陶瓷材料。利用纳米硬度分析测试系统(Triboindenter)测定了复合陶瓷的纳米力学性能,用销盘式摩擦磨损试验机考察了
嫩江—八里罕断裂带位于东北地区中部、大兴安岭的东缘,为松辽盆地的西缘控盆断裂。断裂带传统认识上被认为是一条NNE向的深大断裂,其性质为正断层或拆离断层。笔者野外地质
炼钢厂连铸机大包回转台轴承是典型的大型低速重载回转设备,由于常规的振动传感器很难拾取如此低频的信号致使振动分析无法进行,因此利用润滑脂的光谱和铁谱分析方法对其进行状
期刊