非关系型数据库统一存储与访问接口研究

来源 :四川师范大学 | 被引量 : 4次 | 上传用户:xsb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据的出现给信息技术领域带来了新的挑战,因其数据量巨大,增长速度快,数据类型多样,关系型数据库已经很难满足大数据存储的需求。非关系型数据库因其具有高效的读写性能及良好的可扩展性,数据存储模式更为灵活等特点,非常适合大数据的存储。在构建大数据存储与分析平台应用系统中,多种非关系型数据库并存的架构能够充分发挥各存储系统的优势,但是不同的非关系性数据库数据模型不同,数据访问方式也不一致,构建多源异构的大数据存储系统因而变得十分复杂。另外,非关系型数据库在使用中存在性能上的问题,在高负载数据传输的环境下阻塞式的通信模式会引起数据库性能的降低。为了解决以上问题,本文开展的工作如下:首先,对国内外多源异构的存储技术的研究进行了分析比较,对相关技术的研究现状及存在的问题进行了描述。分析了四种主流的非关系型数据库数据模型,根据现有数据集成的思想提出了一种针对非关系型数据库的统一存储与访问模型。模型统一了数据的存储模式,通过缓存系统存储临时数据,并设计出了基于REST风格的统一访问接口。其次,针对非关系型数据库的性能这一问题,对HBase数据库进行了研究,分析了HBase RPC客户端与服务端的通信机制。HBase RPC客户端采用的是阻塞通信模式,这种通信模式在网络高负载等情况下会引起客户端线程的阻塞,降低了系统的通信效率。因此提出了非阻塞式的HBase RPC客户端通信模型,并通过Java NIO技术实现。最后,实现了基于HBase的统一存储与访问的系统原型。原型采用MySQL缓存临时数据源,使用MapReduce实现底层存储系统与缓存系统之间的数据转换机制,根据JAX-RS 2.0标准实现了基于REST风格的统一访问接口。通过对系统原型进行部署与测试,验证了模型的可行性及系统的性能。实验表明,统一接口能够简单有效地对数据资源进行操作。在高网络负载的情况下,HBase RPC客户端非阻塞模式的通信效率高于阻塞模式。
其他文献
自抗扰控制器(ADRC)由PID思想发展而来,同时又突破了PID技术的局限性。ADRC通过对模型不确定因素和外扰进行跟踪并给予实时补偿,使得控制系统对外扰和不确定因素均有较好的适应能力,从而能够有效地控制多种工业上较为难以控制的对象,同时表现出极强的鲁棒性和抗干扰性。但是自抗扰控制器因追求卓越的控制品质而滋生了众多参数,却又难以调节,从而限制了自抗扰控制器的工程应用。目前优化整定自抗扰控制器的众多
内存数据库(MMDB)是近年来发展较为迅速的一种数据技术。由于目前互联网技术以及大数据的发展,对于数据的响应速率提出了越来越高的要求,传统的磁盘数据库已经无法满足一些新
当今社会已进入信息爆炸时代,如何通过搜索引擎精准获取有用的信息是摆在面前的一个重要课题。虽然用户采用通用搜索引擎可以检索出自己关心的内容,但也包含了许多无关信息,主题
移动VOIP(Voice Over IP)在无线局域网中的切换和AP(Access Point)间负载的不平衡是无线局域网研究中常见的问题,移动VOIP的通信服务质量与这两个问题与密切相关。移动VOIP在
目前复杂网络上的数据挖掘大多结合子图挖掘的算法进行分析。为了适应复杂网络数据量大、结构复杂等特点,使用具有随机性质的多目标遗传算法进行子图挖掘是一个比较理想的策
近年来,随着计算机信息技术、数字技术和多媒体技术的高速发展,数字电视的发展取得了令人鼓舞的成果。同时随着DVB-T移动数字电视标准的确立,为移动数字电视的发展提供了有利
车牌识别(License Plate Recognition,LPR)技术作为交通管理自动化的重要手段和车辆检测系统的一个重要环节,在交通监视和控制中占有很重要的地位。小波分析是一个时间和频率
本文针对Web信息采集领域存在的问题,围绕面向垂直搜索的定题信息采集技术这一中心,主要完成的工作内容如下:第一,全面回顾了信息采集技术的研究历史,系统深入地分析了通用信
我国中药材种类繁多,一些不法分子时常使用不合格的药材假冒名贵药材,从而中药材市场充斥着大量的伪劣产品。目前,中药材市场没有完备的分类标准,为了提升市场中药材分类识别准确率,国家也于近些年陆续出台了一些相关政策来规范中药材市场,特别是计算机视觉技术在中药材分类识别领域中应用越来越广泛,很大程度提升了中药材识别的客观性和准确性。本文主要针对类椭球形中药材图像的分类算法进行研究。从类椭球形中药材图像库构
在当今的日常生活中,越来越多的人使用固定电话、手机、PDA、PC、传真等终端进行通信。随着通信终端高速发展和表现出来的多样性,现有的终端业务功能已不能满足用户日益增长