【摘 要】
：
为提高主题爬虫的性能,依据站点信息组织的特点和URL的特征,提出一种基于URL模式集的主题爬虫。爬虫分两个阶段,在实验爬虫阶段,采集站点样本数据,采用基于URL前缀树的模式构
【基金项目】
：
国家自然科学基金资助项目(61272109,61502350)
论文部分内容阅读
为提高主题爬虫的性能,依据站点信息组织的特点和URL的特征,提出一种基于URL模式集的主题爬虫。爬虫分两个阶段,在实验爬虫阶段,采集站点样本数据,采用基于URL前缀树的模式构建算法构建URL模式,形成模式关系图,并利用HITS算法分析该模式关系图,计算出各模式的重要度;在聚焦爬虫阶段,无须预先下载页面,即可利用生成的URL模式判断页面是否主题相关和能否指导爬虫深入抓取,并根据URL模式的重要度预测待抓取链接优先级。实验表明,该爬虫相比现有的主题爬虫能快速引导爬虫抓取主题相关页面,保证爬虫的查准率和查全率,有效提高爬虫抓取效率。
其他文献
煤矿机电设备的正常安全运行关系着煤矿企业的生产效率和经济效益,对于煤矿企业的生产经营具有重要的意义。本文对煤矿机电设备常见的技术故障和解决策略进行了探讨,指出设备
在国内外创新型城市建设评价研究现状的基础上,结合河北省实际,按照投入产出逻辑构建了创新型城市建设的评价指标体系,系统层由创新投入、创新产出2个一级指标组成,状态层由8
采用提纯后天然蒙脱石为原料,经十六烷基三甲基溴化铵和十八烷基三甲基氯化铵改性后,分别以C8～C14中性伯胺为结构导向剂,蒙脱石/胺/正硅酸乙酯摩尔比为1:20:150,搅拌反应时间
词汇在英语学习中的重要性已经被广泛认可,它也是检测小学英语学习能力的一个重要依据。尽管老师们也采取很多方法教学生,但是大部分学生的英语单词读、写能力很弱。在这种低
建设政策性农业保险体系,有助于有效防范农业风险,促进农业生产发展和农村和谐稳定。但是,随着社会经济的飞速发展,政策性农业保险实施过程中面临着许多困难和问题亟待解决。
"智慧教学平台"能有效实现信息技术传统教学方式与新型教学模式的有机整合,极大提升教学效率,本文期望能为其他地区尝试智慧教学的教师提供参考。
晏阳初认为 :中国社会的根本问题是“愚、穷 ,弱、私”,而其根源是“中国的教育不能普及”,特别是广大“农民没有受教育的机会”,因此 ,他认为要用教育的手段来改革社会 ,“
中等职业学校教师职业倦怠是制约中等职业教育发展和教师自我发展、对工作具有极强破环力的因素。籍以问卷、座谈方式和工作中积累的资料,试图从现实的微观层面入手运用心理
在房山区大董村拟建工程基坑开挖和CFG桩施工过程中,发现地层中存在空洞。为确保天然地基的安全,首先选定重点区域采用地质雷达探测异常区,然后采用钻探开挖手段进行确认。根