基于Lucene的HBase全文检索功能的设计与实现

被引量 : 0次 | 上传用户:battichen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据的不断增长以及人们对数据仓库、数据挖掘等方面越来越重视,NoSQL变得越来越普及,HBase发展良好并得到更多的用户认可,但是HBase本身的只有简单的按row key顺序扫描数据的方式已经渐渐不能满足用户的各种需求,很多情况下用户不得不花大量的时间对全表进行扫描。使用二级索引或者全文索引来扩展HBase的查询方式以及提升查询速度成为研究的一个方向,HBase全文检索功能是我们最近所做的一个尝试。HBase全文检索功能的索引与查询基于常用的信息检索库Lucene,索引存储在HDFS上以保证数据的安全,通过使用HBase的Coprocessor框架良好的与HBase结合,在尽可能少改动HBase源代码的前提下为HBase增加全文检索功能,实现了在插入数据的同时建立索引,并可以提供多关键字的查询。同时我们还整合了常用的分词算法库。HBase全文检索功能经过测试,能够在插入数据的同时建立索引,并且能够较快的响应查询请求。但在测试中我们发现该方案对高并发的支持并不好,只适用于查询并发度较低的情况。
其他文献
糖糟为影响淀粉糖质量和产量的主要制约因素。因此,为提升淀粉糖的质量和产量,需充分利用、去除液化和糖化工艺中的糖糟。本文在研究淀粉糖液化和糖化生产工艺的基础上,分析
《瀛寰琐纪》是清末第一部商业期刊,其栏目设定和内容选材突破传统,富有新意,反映了当时社会从封闭到新文化、新思想涌动的变化。《瀛寰琐纪》的创新为后来的商业期刊如《小
微弱目标光学成像探测技术是一项在军事和民用等领域有着广泛而重要应用前景的技术。目标可以反射太阳或其他光源照射的光波,同时也发射各种红外光波,在光学链路成像探测中,
<正> 《伤寒论》第28条说:"服桂枝汤,或下之,仍头项强痛,翕翕发热,无汗,心下满微痛,小便不利者,桂枝去桂加茯苓白术汤主之。"句中"桂枝去桂加茯苓白术汤"这一问题,历来争论较
随着市场经济与知识经济的快速发展,知识型人才与复合型人才成为了衡量企业市场竞争中的主要因素,人力资源成为了企业生产经营的主要资源,为企业长远发展提供了智力基础与技
原型范畴理论自从诞生以来就受到了很多学者的关注。一词多义是语义学中的一个普遍现象,原型范畴理论对此现象具有很强的解释力。在原型范畴理论视角下,"fruit"的一词多义现
随着中国—东盟海上互联互通的启动建设,北部湾经济区港口业也逐渐向现代物流转型。调研发现,目前具有专业能力、方法能力、社会能力的能力导向型港口物流人才是市场急需的人
作为在北京大学讲授中国哲学史课程的第一人,陈黻宸是现代中国哲学史学科创设和发展过程中一位不能忽略的人物.他在哲学概念的理解、中国哲学史内容的认定、哲学史的作法方面
班级管理是教学成功的前奏。班级管理有很多艺术,要以人为本为中心,要有切实可行的方法让管理进入科学的轨道。如果我们有了心理教育的"钥匙",我们的教育教学工作就会非常主
工伤职业康复是个体化的、着重以重返工作岗位为目的的,设计用来减低受伤风险和提升工伤职工工作能力的一种系统康复服务。作为工伤全面康复的重要组成部分,职业康复在工伤职