基于HBase的海量数据实时查询系统设计与实现

被引量 : 133次 | 上传用户:liugang168
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量数据的存储和查询是近年来业界的研究热点之一。传统的关系数据库由于可扩展性和处理性能的限制无法满足其要求。新兴的NoSQL数据库具有良好的可扩展性,但不支持SQL和二级索引等传统数据库特性。因此包含NoSQL高可扩展性,同时具有传统数据库特性的NewSQL更适合海量数据的存储和查询。本文在NoSQL数据库HBase的基础上,设计并实现一个能够满足海量数据实时查询需求的NewSQL系统。它保持原系统的可用性可扩展性、容错性等特性,并且支持SQL语言,易于使用,支持二级索引功能,可用于数据的实时查询。用户输入的SQL语句先经过SQL命令解析器解析,再通过Schema转化器把输入字段转化为HBase的列族和限定符,然后使用查询规划器对不同类型SQL语句的处理流程进行规划,最后完成规划的处理流程。本文使用JSQLParser作为SQL命令解析器,通过规格化字段格式完成Schema转化,利用MapReduce(?)匡架实现数据库迁移和备份。为了提高查询效率,本文使用已有Coprocssor组件完成集合函数查询功能和属性条件删除功能,并基于Coprocessor框架开发了属性条件更新组件及用于实时生成索引的组件。同时为了保证索引数据的最终一致性,本文还提供了基于MapReduce框架的索引生成组件,用于线下生成索引。最后,本文搭建实验系统完成性能测试,并与Hive+HBase系统进行性能比较。通过实验数据得出,本文构建的新系统能够支持SQL语句和二级索引功能,提供良好的性能及可扩展性,实现海量数据实时查询。
其他文献
目的:观察固本康口服液防治小儿哮喘的疗效.方法:将152例哮喘患儿随机分成中药组、西药组、中西药组,分别用中药(固本康口服液)、西药(必可酮)和中西药(两者相加)治疗,疗程均
介绍了国外石油钻井岩屑处理技术与装备的现状,分析了岩屑处理技术的发展趋势,结合我国石油钻井岩屑处理技术的应用情况,建议我国应抓住机遇,集中力量、突出重点,充分发挥我
微博无疑是当前最时尚的发明之一,其因简短快捷、即时交流等特点得到了广大网民的青睐。作为新兴的网络媒体,微博以其巨大的传播力量和传播空间改变着人们的生活,给人们带来信息
我国节能服务领域第一项国家标准正式发布国家标准化管理委员会近日发布公国家标准化管理委员会近日发布公告,由发改委资源节约和环境保护司提出,中国标准化研究院、中国节能
<正>时代在进步,科学在发展,现今教育对于教学模式的需求已经远远不止停留于纸面之上,而是更加直观的以视、听、说等多方面立体性的方式对学生进行授课。传统的由教师制作电
<正>父母共同教养是近十年来心理学领域新兴的一个研究课题。现代社会中,双职工家庭的增多对传统的性别角色模式提出了挑战,在子女教养问题上需要父亲和母亲共同参与,即父母
新课程改革的大背景下,传统的教学方式已经无法适应教学环境以及学生的需求,现阶段教育对数学教学的灵活性提出了更高的要求,教师应针对这一背景,及时更新自身教学理念。如何
随着我国高等教育的不断发展,大学生这一群体也变得越来越庞大,就业成为大学生亟待解决的问题,就业压力也逐渐成为人们关注的重点和热点。据此,拟以贵州高校大学生为调查对象
代言体诗是指“代人(物)立言”的诗作,诗人在诗中以他人(物)的身份和口吻代之言事抒情,有时还表达诗人自己的思想情感,“借他人酒杯,浇自己块垒”。其中为女子代言、以女子的
京剧作为中国的国粹艺术,尽管经历了朝代更替,但学术界对京剧的研究却从未中断,始终伴随着京剧的发展历程在进行。京剧形成于清代,这一历史时期积累了很多的京剧历史文献资料,将这