Lucene与中文分词技术的研究及应用

被引量 : 38次 | 上传用户:wanglt111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
摘要:随着现代信息技术的不断发展,信息检索成为了互联网应用的核心,而全文检索是现代信息检索技术的核心中的核心。与普通检索方式不同,全文检索主要处理非结构化数据,通过索引构造器对非结构化的数据构造反向索引,并根据权重计算公式计算索引结果权重,分析文档相关性,建立文档和索引的相关度排名,最后达到准确检索目标文件的目的,因此全文检索技术也成为了现代搜索引擎技术的核心。虽然现有的商业搜索引擎可以满足一般的用户需求,但是针对企业用户以及有特殊需求的个人或研究机构,商业搜索引擎在保密性以及灵活性方面,还远远不能满足这些特定用户的需求。因此这些用户通常选择开源搜索引擎作为其解决方案,而Lucene就是其中较为优秀的解决方案之一。本文分析并研究了Lucene实现的原理及其组织结构,并且在保留Lucene架构的基础上,针对其不足之处进行了改进。首先,提供了Lucene对于多种文件格式支持,使其能够支持PDF, WORD, EXCEL, PPT, HTML等文件格式的检索。其次,对于Lucene只支持命令行的操作模式,对其改进,使其拥有更加直观的用户界面,提高了用户体验。最后,针对Lucene对于中文支持不足的缺陷,本文详细研究目前主流的中文分词算法和技术,并结合构造的基于Lucene的搜索引擎实例加以实现,并对各种中文分词器进行对比测试,分析优劣,使用户能够针对不同的应用环境,构造一个最适合的中文搜索引擎解决方案。
其他文献
随着移动互联网时代的到来,移动智能终端进一步得到普及,具有移动互联网时代特性的新闻传播方式应运而生,推动了新闻业态的发展与变革,也为新闻媒体机构的传播效果测量方式带
介绍东京港环境建设工作中公园绿地建设、生态建设、景观建设、环境保护等相关内容,探求其在现代化国际港口建设过程中环境建设的特点及思路.
《红旗谱》是梁斌文艺创作的代表作,它在广阔的历史背景中艺术地再现了中国农民经历的长期而又艰难的革命探索,作品不但展现了朱老忠由一个燕赵的慷慨悲歌之士成长为一个自觉的
《甄嬛传》是一部描写后宫女人争斗的电视剧,剧中塑造了许多个性鲜明的人物形象,展现了在男权下,女性逐渐扭曲的性格和命运的悲剧。但在同样的压迫下,只有安陵容逐渐丧失良知
课堂并非一个传递知识、控制纪律、维持秩序的简单场所,而是一个复杂的社会小环境。如何使这个小环境成为一个良性的教育环境,如何更好地促进小学生的成长和发展,如何做一名
青少年涉毒犯罪已经成为一个非常严重的社会问题。在有关青少年涉毒犯罪的司法实践中,必须切实贯彻"宽严相济"的刑事政策,特别是要结合近年来颁布的有关未成年人刑事案件的司
<正>2008年以来,我国已进入高速铁路建设高峰期,2008年版《中长期铁路网规划》出台至今已有8年时间,"四横四纵"的客运专线网已基本成形,截至2015年底,全国铁路营业里程已达12
2006年1月8日国务院正式颁布了《国家突发公共事件总体应急预案》,根据《总体预案》中对应急组织体系的规定,我国各省级政府纷纷建立了应急领导机构、办事机构、工作机构、地
创新在现在的社会中扮演着越来越重要的角色,创新基于创造力的发展。幼儿创造力的培养一直是学前教育研究的一个热点问题,文章从限制幼儿创造力发展的因素入手,基于因素提出
<正>人民银行在履行经理国库职能的历程中,伴随了我国经济发展的不同时期,特别是在促进财政收入及时足额入库、规范财政资金支付、保证国库资金安全完整、提高财政资金使用效