基于HBase的SQL转化引擎研究

被引量 : 12次 | 上传用户:luffyzl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网和移动通信的出现,是信息化高速发展的结果。互联网和移动通信逐渐成为人们最主要的交流沟通工具。信息化的世界需要大数据的支持,大数据的出现又使得关系型数据库暴露出了种种的不足,这使得关系型数据库的统治地位岌岌可危。在此背景下,NoSQL数据库孕育而生,NoSQL数据库产品犹如雨后春笋般蓬勃发展。这些数据库的最大特点就是能够进行GB级别到TB级别的数据处理。其中,HBase备受关注。然而,为了使得数据库能够支持大数据的处理和非结构化数据,NoSQL数据库放弃了关系型数据库强制的事务完整性,二级索引机制和SQL语句作为输入的查询操作。随着HBase的流行,人们开始着手为HBase实现一个支持SQL的转化层,以降低对HBase使用的学习难度。本文开篇对本论文撰写的研究背景和意义进行了阐述,说明了设计和实现一个基于HBase的SQL转化引擎的重要性。然后,用一章的内容对SQL转化引擎相关的背景知识进行了介绍,主要包括对Hadoop的概念和架构的介绍;对HBase整体设计介绍和HBase与传统关系型数据库对比分析;以及对ANTLR这个解析工具的工作流程和作用进行了详细的说明介绍。接下来,是对SQL转化引擎系统设计架构的介绍,分层介绍了SQL解析层、SQL分析层、SQL-HBase转化层以及HBase API调用层。接着,是对SQL转化引擎的系统实现进行了充分的讨论,说明了各个部分实现的原理和关键技术。需要补充的是,系统实现利用了HBase现有的大部分接口和协处理器框架来完成传统关系型数据库的查询和聚合。文章最后也对SQL转化引擎的效果进行了通过性测试和时间性能测试。综上所述,本论文提出了设计一个基于HBase的SQL转化引擎,使得HBase能接收SQL语句作来操纵HBase的设想变为现实。通过ANTLR对SQL语句进行解析,对解析的结果进行对象化封装并对参数进行遍历访问求解出需要查找的列和行,再调用了经过封装的HBase API类方法来返回结果,实现了一个可用的,简单的SQL转化引擎。本论文也是对HBase扩展开发的一个新的尝试,对于普及HBase做出了一定的贡献。本论文中得到的结论和观点也是有利于后来人对HBase研究和理解。论文最后讨论的SQL转化引擎不足,以及未来需要进行的工作。
其他文献
信息化在高校科研管理中的应用是一种必然趋势,从项目管理、成果管理到科研档案管理,都无一例外的应用信息化来开展管理工作。文章论述了高校科研管理系统的应用和改进,完善
生态补偿制度作为生态法的重要制度之一,对生态环境的恢复发挥着重要作用。从生态补偿制度的概念入手,分析指出该制度的责任主体在该制度中的重要作用,并从经济学、法理学、
互联网从上世纪90年代中期走向民间及并发展至今,已经从最初仅能部分替代报纸杂志,变得几乎无所不能替代。随着在线支付日益完善并被越来越多的人接受和使用,仅仅在线上买买
目的:探讨流产后关爱(PAC)服务的干预效果。方法:纳入611例计划行人工流产终止早孕妇女,其中304例妇女接受传统人工流产服务(对照组),307例妇女在接受人工流产服务同时接受流
设计了一种高功率1.06μm激光泵浦单谐振中红外PPLN光参量振荡器并对其进行了研究,研究证明在MgO∶PPLN极化周期29.1μm,工作温度40℃时,采用工作频率10kHz、脉宽10ns、功率3
<正>《1844年经济学哲学手稿》是马克思研究政治经济学的第一部著作,也是马克思深入市民社会探讨人的本质的奠基作。马克思以异化劳动和私有财产为核心概念,分析了人的本质及
微观组织数值模拟对金属材料的发展和应用有着重要意义,也是计算机应用于材料科学领域的主要发展方向之一。微观组织数值模拟的方法主要有:确定性方法、随机方法及相场法。其中
日前,百时美施贵宝(Bristol-Myers Squibb)表示,新的研究数据显示在后期临床试验中,当用Opdivo来治疗头颈癌时,患者的生存率要比使用目前的标准化疗药物有较大幅度的提高。$$英国
报纸
城市路网是城市发展过程中承载城市运行的产物,不同城市具有不同形态的道路网络。随着十九大召开,我国将迎来更加高品质城市化进程中,城市需要更加合理道路网络规划。对城市
目前,在中国各个城市中出现了不同程度的交通拥堵,管理部门试图通过各种途径缓解拥堵,但效果均不理想,而交通拥堵收费(Congestion Pricing)作为一种新兴的经济手段对缓解城市