基于Nutch技术的主题搜索引擎实现

被引量 : 0次 | 上传用户:y567843241
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面向主题的搜索引擎技术目前已经成为网络信息检索领域新的研究热点之一。不同于不加区分的从网络上收集网页的传统搜索引擎,面向主题的搜索引擎仅仅采集用户指定的、与某一特定主题相关的页面。Nutch是一个刚刚诞生开放源代码(open-source)的web搜索引擎。Nutch将尽自己最大的努力为用户提供最好的搜索结果,它使用Lucene作为索引和检索的模块。它的抓取器是独立为自身编写的,具有高度标准模块的架构。本文中的系统是中文主题搜索引擎,中文处理的问题以及主题相关性的问题是系统需要解决的首要问题。考虑到主题搜索引擎在主题判定方面的复杂性,为了保证系统的成功构建,降低工作量以及工作难度,系统基于Nutch开发,嵌入和特定领域相关的专用词典(如army.txt),专业词典和本文描述的主题相关性的判别方法相结合来识别爬行器爬到的网页是否与特定主题相关。本文依据Menczer对三种基于主题采集策略研究的结论,进行了实验和比较,决定本系统采用Best first Crawler方法来解决主题相似度得到采集优先级的问题。最后,我们对整个算法进行了系统实现,并在不同的网络环境下进行了比较实验。本系统在后台部分能对客户提供的网站信息进行页面抓取和信息预处理,前台部分能利用后台抓取的数据进行信息检索,查询到要查询的信息。
其他文献
<正>板书技能是辅助教学的一项重要的基本技能。板书技能主要包括板书设计与板书展示,教师选择板书,不仅要知道板书的作用、特点,还要掌握板书的类型,设计板书的基本方法,更
目的探讨采用双吻合器在低位直肠癌切除手术的疗效。方法回顾性分析2003年1月~2009年3月间采用双吻合技术保肛的126例低位直肠癌患者的临床资料。结果 126例患者直肠闭合及吻
在国家粮食安全得到保障的条件下,只要普通粮农节约粮食,不盲目提升粮食消费结构,其自身的粮食安全就可以得到保障。国家粮食安全如果得不到保障,普通粮农作为收入最低的阶层
将我院2012年6月~2013年8月收治的60例宫颈糜烂患者随机分为对照组和观察组各30例,对照组单纯采用宫颈微波烧灼治疗,观察组采用宫颈微波烧灼治疗,在术后每日塞入阴道1粒保妇
民间受害赔偿是解决日军侵华战争遗留问题的一个关键方面。倡导民间索赔理念,坚持民间索赔活动,实现对日民间索赔,不仅有利于中国人勿忘先辈苦难,保持忧患意识和自强不息的抗
工程概况科技档案楼项目规划用地面积1263m^2.建筑基底面积809.49m^2.总建筑面积4585m^2.地上6层,建筑总高度23.85m。其中:首层为展厅及科技档案库:2层绿色建筑机电技术研发中心:3~6层
20世纪 90年代以来 ,个人银行业务得到了迅猛发展 ,逐渐成为银行利润的重要来源 ,也成为同业竞争的焦点。国外银行业个人金融产品创新层出不穷的事实 ,为即将进入微利时代的
全宗是档案管理的基本单位,是一个独立机关、组织或个人在社会活动中形成的档案有机整体。按全宗对档案进行管理,不仅符合档案的形成规律和特点,更是各级综合档案馆对馆藏档
慢性非传染性疾病(NCD)是心脑血管疾病、肿瘤、糖尿病、慢性阻塞性肺疾患(COPD)、等疾病的总称.随着生活方式和社会竞争的不断加剧,NCD已成为21世纪危害人类健康的主要问题[1].健
北虫草栽培技术要点北虫草Cordycepsmilitaris(L)Link,又名蛹虫草,同冬虫夏草同为虫草属,是一种具有较高医药和经济价值的药用真菌,主要分布于我国北方东北三省为主。北虫草人工栽培以高蛋白、淀粉等为栽培