基于Heritrix和Lucene垂直搜索引擎的应用研究

来源 :昆明理工大学 | 被引量 : 2次 | 上传用户:vs1ji
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,网络上的网页数量呈指数级增长,包含的信息数据越来越多、越来越广,人们想要在互联网中找到自己需要的信息也变得越来越困难,于是就出现了搜索引擎。但是人们常用的通用搜索引擎像百度、Google等虽然能帮助人们搜索到一点相关信息,但在特定需求下,却无法满足人们的需求。因此,垂直搜索引擎如雨后春笋大量涌现。本文通过改进网络爬虫Heritrix的抓取逻辑,并改进和扩展其功能,使它能够抓取指定网站上的特定网页内容,然后通过研究Lucene的基础排序算法,并借鉴PageRank算法思想,对其做了改进。首先,介绍了垂直搜索引擎使用的相关技术,包括网络爬虫技术、结构化抽取技术、中文分词技术、索引与搜索技术等。其次,详细描述了网络爬虫Heritrix改进后的抓取配置步骤,从四个方面对它的功能做了扩展。再次,引入PageRank算法思想,将Lucene的基础排序算法改进为适合网页排序的算法,并给出了算法实现。最后,从实际生活问题出发,以数码相机为例,应用文中所讲的技术设计并实现了一个垂直搜索引擎,并将本人在文中所做的改进和实现部分都在该引擎中做了对比测试。
其他文献
2020年是全面建成小康社会、打赢脱贫攻坚战的收官之年。“扶贫先扶智,治贫先治愚”,教育是阻断贫困代际传递的治本之策。以服务区域经济发展为宗旨的职业教育具有很强的地方
早在1996年3月,原国家教委就颁布了《全日制普通高中课程计划(试验)》,随后又依据《课程计划》制订了《数学教学大纲》。大纲着眼于培养学生的全面素质,规定了高中数学课程的教
林权改革是国有林业发展的一项重要课题,它涉及到林业员工的集体利益和林业发展前景。本文通过实践,论证了哈尔滨呼兰区林业局林权改革的做法及取得的成果,以飨读者。
新食品安全法颁布实施,这无疑是人们翘首以盼的福音。但是,倘若仅仅指望这一法律条文确保公众舌尖安全,想法恐怕也过于天真。
目的总结脊髓内海绵状血管瘤(Spinal cord cavernomas,SCC)诊断与显微外科治疗的经验。方法回顾分析我科2004年2月至2008年8月经手术治疗的5例SCC,总结其临床、影像学表现,显
在近几年的新课改的浪潮下,英语教师都在不断探索新的教学模式。纵观所有的教学理念,核心素养下的高效课堂模式的建构最具有代表性,这种思维和理念既符合新形势下教育部门对
如今,全国上下都在实施新课程方案。新课程体系以提高国民素质为宗旨,以培养创新精神和实践能力为重点,强调课程要促进学生身心健康发展,基础教育要满足学生终身发展的需要。为达
近日,中国新闻网以《石家庄一储户300万存肷“失踪”,银行称无责任》为题,报道了一储户在中国工商银行石家庄建华支行的300万元存款离奇“失踪”一事。稿件刊发后,几十名工商银行
唐县是农业生产大县,随着人多地少矛盾的日益突出,农民种粮的积极性不断下降。如何加快农业结构调整的步伐,提高土地单位面积的产值,是当前急需解决的问题。根据本县实际情况,发展
随着我国经济社会的持续快速发展、城镇化进程的推进,民生问题一直是国家和人们关注的热点问题,医疗卫生体制改革的问题关系着人民群众的健康,是重大的民生工程,在国家领导和