基于HBase的全文索引及检索技术的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lifeng58
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的来临,针对大数据的全文检索技术成为了研究的热点。HBase是目前流行的支持海量数据实时读写、支持非结构化存储的Nosql数据库。但是它只支持基于主键的查询,并不支持全文检索。如何基于HBase设计全文检索方案,解决全量及增量数据索引的创建、存储,并实现高效的数据检索是本文研究的重点。通过对现有的信息检索技术和HBase的研究,提出了一个基于HBase的全文检索的方案。本方案设计了在HBase中创建全量及增量索引的方法,并提出了基于HBase索引表进行检索的技术方案。首先采用MapReduce分布式模型创建倒排索引,然后将索引存放至HBase的索引表中,最后设计检索方案来完成对HBase索引表的检索,并且利用Coprocessor来完成增量数据的更新。针对全文检索的性能进一步研究了Hadoop调优、索引存储和检索策略的优化方案。分析MapReduce任务运行时的性能瓶颈,对Hadoop参数进行调优,提高了任务执行效率;采用压缩的方式优化索引存储,有效的减少了索引文件和索引表的大小;采用过滤器的方式过滤掉权重值较低的文档,提高了检索效率。通过实验表明本方案能够有效的创建、存储索引,高效的对数据进行检索,并且支持增量数据更新。进一步的研究工作考虑对检索精度进行改进。
其他文献
城市科技创新力即城市创新指数是高校创新创业教育开展的有效支撑;增强大学生创新创业意识、提升大学生创新创业能力,并将其有效转化为大学生创业行为是创新创业教育的直接目
社会的发展离不开经济、文化等多重要素的共同推动,其中文化的发展会对教育提出各种新的要求,这些要求将成为公民素质、公民文化水准的衡量标杆。当即社会对于学生的文化自信
现有的逆变电源三相稳态模型以相电压可控为基础,并不适用于无中性线引出的不接地逆变电源。该文考虑逆变电源的电压控制和电流控制两种模式,以及PQ、PV和PI等不同控制方式,
目的观察补肾活血方配合髓芯减压术对早期股骨头缺血性坏死患者血清骨钙素(BGP)和血钙(Ca)含量的影响。方法将125例Ⅰ期股骨头缺血性坏死患者随机分为2组。对照组62例采用髓芯减
针对高速公路愈加拥堵问题,提出了一种新的高速公路交通流预测方法,采用改进萤火虫算法优化RBF神经网络进行求解,结合历史节假日高速公路交通流数据进行训练和预测,与RBF神经
不断改善用户体验是快递企业加强自身竞争力的重要举措。针对送货时遇到用户不在的情况,提出了基于ARM的自助货柜系统设计。系统主要由ARM主控芯片、RFID身份验证单元、条码
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
导入,是课堂的开始。在高中英语教学中讲究有效导入,让学生在课堂导入环节做好上课准备,有利于学习状态的优化。新课程改革的实施,让高中英语教学中的导入有了更大的变革必要
背景缺血性脑血管病(Ischemic Cerebrovascular Disease,ICVD)有高发病率、高复发率、危害性大[1]等特点,是导致残疾的主要危险因素。近来吸烟与ICVD的关系越来越受到重视,虽
由于现在生活、工作等各方面的压力造成现在好多教师都存在心理问题,有的教师可能属于轻度心理障碍,而有的严重的教师已经构成了心理疾病。这就需要教师正确地认识自己,正确