基于Lucene垂直搜索引擎的研究与实现

被引量 : 0次 | 上传用户:kaiserking
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet和WWW的迅速发展,Internet上的资源日趋丰富,人们也越来越多地依赖网络进行学习和研究。为了帮助人们在浩如烟海的网络中得到有用的信息,基于Internet的各类搜索引擎应运而生并得到了迅速发展。目前,人们在网络上搜索信息主要利用百度,Google等通用搜索引擎,这类搜索引擎功能已经十分强大,基本可以满足用户的需求,但是当用户搜索一些专业信息时,这类搜索引擎往往显得力不从心。垂直搜索引擎的出现,正是为了解决此类问题。首先,本文论述了垂直搜索引擎的研究意义及体系结构,并深入研究了垂直搜索引擎的核心技术,包括主题相关度的判断,中文分词技术,网页排名技术等。其次,本文对Lucene开发包进行深入的学习研究,对比了其本身的中文分词方法及KTDictSeg分词方法,采用对中文分词效果较好的KTDictSeg分词方法对所提取的内容进行分词。最后,本文设计并实现了威客任务信息垂直搜索引擎系统,包括主题蜘蛛模块,信息提取模块,索引与检索模块。在主题蜘蛛模块采用Shark Search算法来对未处理的URL进行分析,提高了对主题信息采集的准确度;在信息提取模块,采用HtmlParser文档解析方法对采集的页面进行信息提取;在索引与检索模块,针对Lucene中的得分算法没有很好的体现网页在网站中的位置信息这一不足,设计了一种改进的解决方案,将文档的基本得分与文档在网页中的位置信息以及文档本身的特点很好的结合起来,以提高对搜索结果排序的准确度,由此增强了搜索的精确度。
其他文献
研究了高吸水性树脂交联剂聚乙二醇双丙烯酸酯的合成工艺。结果表明:在丙烯酸1mol、n(强乙二醇):n(丙烯酸)=1:3、环己烷15mL、甲苯5mL、催化剂对甲苯磺酸0.018mol、反应温度90℃和反
高新技术正成为21世纪经济社会发展的主要动力。高新技术以其独特的高收益、高成长性受到了企业的广泛重视,但高新技术项目常常伴随着高失败率,高竞争和各个环节的众多不确定
国以民为本,民以食为天。我国改革开放至今三十载,人民的生活水平日益提高,人民群众就越来越关注营养养生,以图在盛世年丰时代,使自己生活得更健康、更长寿。盛世食药膳,国宁
近年来,航拍在纪录片中出现的频率越来越高,有些甚至成为整部片子的拍摄形式。航拍的使用目的和使用方式各不相同,效果也不尽相同。将航拍理解为电影眼睛,作为基于技术条件所
在第六届"培青计划"暨首届中国当代舞双年展期间,主办方特邀英国伦敦萨德勒之井剧院、法国夏洛宫国家舞蹈剧院、英国伦敦老地方舞蹈中心、奥地利林茨国家剧院和德国达姆施塔
目的对新疆产民间草药爪瓣山柑Capparis spinosa的化学成分进行研究。方法采用硅胶、Sephadex-LH20等各种色谱分离方法进行分离纯化,采用各种光谱方法进行结构鉴定。结果分离
伴随我国高等教育大众化的进程,江西省高等教育得到了前所未有的大发展。然而,在江西省高等教育大发展的同时,江西省普通高校的债务问题越来越突出,不少高校正逐渐陷入债务危
中国是现今世界上工程建设投资额度最大,工程建设项目最多的国家。然而我们现有的工程造价管理方法相对比较落后,导致许多建设项目造价管理目标没有实现。经过这些年的研究,
虚拟现实(Virtual Reality)技术是20世纪末发展起来的以计算机技术为核心,及多学科高新技术为一体的综合集成技术。虚拟现实综合利用了计算机的立体视觉、触觉反馈、虚拟立体
对山西省永济市的防洪工程现状进行实事求是的分析,指出存在问题,提出了改进办法。