基于Heritrix的主题爬虫在互联网舆情系统中应用

来源 :电子设计工程 | 被引量 : 0次 | 上传用户:asdxxx123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息化爆炸的时代,一般搜索引擎的搜索结果已经满足不了人们的需要,能获得更准确全面信息的垂直搜索引擎越来越受到关注。其中,主题爬虫作为垂直搜索引擎的核心部分一直是搜索方向的研究热点。本文以开源的网络爬虫Heritrix为基础,分析其结构特征与工作原理并引入了多线程处理的改进办法,设计出一个主题爬虫,在单机环境下进行该爬虫性能的测试。实验结果表明该主题爬虫的查全率达到较高水准,为进一步研究开发搜索效率高的垂直搜索引擎打下坚实的基础。
其他文献
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
注册会计师及所在的会计师事务所是会计服务的提供者,是会计服务市场的主体,而会计服务是会计市场的一种主要产品。我国资本市场中存在大量虚假会计信息的事实,说明会计服务市场
利用土地利用结构变化信息熵模型对张掖市土地利用结构的差异进行分析,并对张掖市土地利用结构变化的驱动因素进行分析。结果表明:(1)张掖市土地利用结构信息熵值持续增加,有
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
回顾分析 40例PHG -C的临床资料 ;结果为 :40例均有消化道出血 ,内镜检查食管粘膜病变出血 2例 ,胃粘膜病变出血 35例 ,十二指肠粘膜病变出血 5例 ,胃十二指肠复合溃疡出血 2
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
对凝胶的结构、功能以及凝胶应用的系统和深入的研究是近二十年来高分子科学的热点之一。虽然对凝胶的理论和应用研究都在深入进行,但目前的理论都存在一定的局限性,而实验方法
在现代舰艇武器装备组成方面,舰载反舰导弹是对抗远程水面目标最为有效的武器单元,因此,关于舰载反舰导弹通用火控系统的完善就成为现阶段各国研究人员努力的又一重要方向。
目前,我国仍存在着专利信息服务主体重视程度不够、专利信息价值挖掘不充分、专利信息分析的科学性欠佳、专利信息供给的结构性失衡以及与应用需求相脱节等问题。对此可以专