垂直搜索引擎中关键技术的研究

来源 :长春工业大学 | 被引量 : 0次 | 上传用户:dcf0124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
搜索引擎的出现满足了人们的检索需求,众所周知的百度、Google等搜索引擎已经深深地渗入到人们的日常生活中了。然而Internet数据量已经超出了搜索引擎所能覆盖的范围,全球互联网资源已达数以亿计,人们很难从通用搜索引擎获取自己所需的特定主题领域的信息。垂直搜索引擎的出现,解决了这一难题,实现了特定用户对特定主题信息的准确检索。本文简要介绍了课题研究背景、搜索引擎的基本工作原理以及垂直搜索引擎在国内外的发展现状,阐述了垂直搜索引擎的相关理论,给出了垂直搜索引擎的基本概念、与通用搜索引擎的区别和评价垂直搜索引擎性能的准则。并介绍了垂直搜索引擎的各组成模块及其功能,对垂直搜索引擎中所涉及的核心技术进行了深入的研究,主要有爬虫技术、网页结构化提取技术,中文分词技术和Lucene索引技术,这些技术应用于垂直搜索引擎中的信息采集模块、信息提取模块、索引模块和用户接口模块的实现。其中,信息采集模块利用爬虫技术从Internet网络上爬取数据;信息提取模块是对已下载的网页进行结构化的提取操作;索引模块将提取到的结构化信息建立索引库;用户结构模块给用户提供了一个查询界面,供用户提供查询请求和返回结果给用户。本文主要的研究工作及创新点有:通过扩展和改进功能强大的开源爬虫框架Heritrix,使其对体育用品信息能够实现定向抓取,引入APHash算法,改进队列分配策略,极大地提高了Heritrix爬虫的效率;用体育用品品牌等专业词汇扩充了JE分词工具所用到的主题词库,使其成为特色专业词库,在很大程度上提高了查询的准确率;在对垂直搜索引擎的核心技术和各功能模块的研究基础上,成功搭建了一个面向体育用品信息的垂直搜索系统原型,实现了对体育用品进行简单的查询操作。
其他文献
目的探讨肺表面活性物质(PS)对新生儿呼吸窘迫综合征(NRDS)的临床疗效。方法将39例NRDS患儿分两组,治疗组19例给予PS联合机械通气治疗,对照组20例单纯机械通气治疗,其余治疗两组
目的:探讨DiaMed单克隆凝胶血型卡在鉴定新生儿脐带血ABO、Rh(D)血型及进行直接抗人球球蛋白试验的可行性。方法:新生儿产出后断脐带时留取脐血血样,脐带血标本,采用试管法和DiaMed单克隆凝胶血型卡进行ABO和Rh(D)及进行直接抗人球球蛋白试验。结果:在鉴定新生儿ABO血型时,试管法和DiaMed单克隆凝胶血型卡定型符合100%,Rh(D)检测结果两法完全一致。在直接抗人球球蛋白试验中,
目的观察低分子肝素钙治疗进展性脑梗死的疗效及其对血液流变学的影响。方法进展性脑梗死患者76例,随机分为两组:观察组38例在内科常规治疗的基础上加用低分子肝素钙注射液皮下
本文在介绍风险控制方法的基础上,阐述了安全基金控制与建设工程其他投资控制的区别和联系,并结合东风水电站扩机工程安全基金管理的实践,进一步就风险控制在安全基金管理、工程
期刊
目的总结小儿腹腔镜气膀胱Cohen输尿管移植术的治疗效果和手术经验。方法对2006—04—2008.10期间14例输尿管末端畸形疾病患儿进行腹腔镜气膀胱Cohen输尿管移植术,年龄6个月-12
卵泡刺激素是人类重要的生殖激素,通过其受体介导生理功能。目前在卵泡刺激素受体基因中发现大量单核苷酸多态性,特别是Asn^680Ser,可能影响受体活性,引起卵巢功能差异,并与辅助生
乌江渡发电厂防洪备用电源10kV、35kV系统电磁式电压互感器(文中简称PT)及电缆等高压设备自投运以来频繁损坏,本文简要阐述了造成其损坏的主要原因——电磁谐振过电压产生的根源
随着科学技术的不断进步和创新,将我国城市建设推向了新的发展领域,尤其是大数据、物联网技术的不断应用,加快了城市智能化和数字化的发展。本文将通过对大数据、物联网以及
6月,按纺织行业多年来的规律来说是传统的淡季,今年的6月或许也不例外。但是,就整个纺织行业来说,从2007年的6月起,跟往年相比,有着很大的不同,人民币升值因素以及国家的一系列调控