【摘 要】
:
针对目前通用搜索引擎所搜索到的结果过多,与主题相关性不强的情况,提出了面向主题的搜索引擎,以舆情信息为核心研究和设计了主题搜索爬虫,为进行主题搜索引擎的研究奠定了良
论文部分内容阅读
针对目前通用搜索引擎所搜索到的结果过多,与主题相关性不强的情况,提出了面向主题的搜索引擎,以舆情信息为核心研究和设计了主题搜索爬虫,为进行主题搜索引擎的研究奠定了良好的基础。本文首先介绍了面向主题搜索引擎的背景,然后对主题舆情搜索引擎的需求进行了分析,在这基础上对系统进行了概要设计和详细设计,最后就系统实现和测试进行了一些探讨。作为一个面向主题的舆情采集搜索爬虫,系统实现了一个基于Boltzmann行动选择策略的具有在线增量自学习能力的面向主题搜索爬虫的原型,通过控制网络蜘蛛的贪婪程度,基于Boltzmann行动选择策略进行爬行。本文引入网页信噪比的概念,并通过它衡量网页里关键词的信息是否超过一定的阈值,从而判断网页是否属于所要搜索的主题网页,来调整网页搜索的优先级。在此基础上,面向主题搜索爬虫引入在爬行过程中自动更新学习模型,当得到主题相关页面时产生回报,将回报沿链接链路反馈,更新链路上所有链接的Q值。通过这样,避免了网络蜘蛛过早陷入Web搜索空间中局部最优子空间的陷阱,同时能准确识别页面的主题相关性,具有很好的自学习能力。同时可以根据链接优先权队列中链接的价值大小比较网页搜索的优先级。基于以上研究,本文设计并部分实现了面向主题搜索爬虫,并通过实验与其它搜索策略进行比较,证实本文提出的算法在查全率与查准率两方面都有一定的优越性,在寻找最优行动选择序列方面具有优势。但是,如何完善目前网页的权值判断机制,使网络链接价值的计算更精确,使搜索爬虫更加智能化,需要以后进一步研究。
其他文献
目的:探讨对恢复期缺血性脑卒中患者进行照护者参与式延续护理的临床效果.方法:将2017年12月至2018年11月南京市高淳人民医院神经内科收治的82例缺血性脑卒中患者作为研究对
园林是集艺术、功能、生态为一体的综合艺术。作为园林工程外露景观构件,井盖因为容易被忽视,往往成为影响整体景观效果的瑕疵。基于对井盖重要性和设计原则的论述,结合工程
芬兰设计在战后的成功必须放在芬兰试图确定它在政治和经济两极分化的语境中去评判。作为一个在政治上几经跌宕起伏的北欧国家,芬兰设计从20世纪开始就已经不是在“单纯”地
对居住空间进行充分的利用,使居住环境达到一定的舒适度,是室内设计的核心理念。而多功能家具就能够实现上述的内容,随着社会的发展,人们对居住空间的需求也日益增加,进而对
在新时代学生们的思想政治教育受到格外的重视,这要求在教学的过程中明确思想政治教育的目的、内容。医学生作为大学生群体中重要的一部分,对其教育内容应该根据其学习特性做
中国是人口众多、资源相对缺乏的大国,伴随着人均收入从低水平向中等水平迈进的过程,各类人均资源消费量不可遏制地迅速扩张,人口与资源的矛盾将更加尖锐;工业化和城市化的加
商品流通是与我国社会主义市场经济紧密相联的经济范畴。它在国民经济中处于非常重要的地位,在社会经济生活中担负着重要的职责,发挥着巨大的作用。国家加强对商品流通进行宏
摘要:初中是学生学习阶段的一个重要时期,对于学生来说,时事政治教学是对其进行德育教育极为重要的一个部分,如何使得学生快速的学习和了解时事政治是目前初中教学中极为重要的一个问题。近年来,微信的不断普及,为初中时事政治教学带来了新的曙光,为学生创造了良好的学习氛围。 关键词:微信;初中;时事政治;应用分析 引言: 微信是一种新型社交工具,但其作用不仅仅局限于社交,同时能够成为教师与学生之间沟通交
当今社会已经步入信息化时代,信息技术已经渗透到社会生活的方方面面,对于教育的影响也日益深入。如何实现其与课程教学的成功整合已成为课程改革的研究热点。高职语文作为一
林业是生态文明建设的载体,在维护生态平衡、提高生态承载力方面起重要作用。自2017年以来,重庆市南岸区在习近平新时代中国特色社会主义思想指引下,努力践行"绿水青山就是金