一种基于Heritrix 可配置主题的聚焦爬虫方法

来源 :楚雄师范学院学报 | 被引量 : 0次 | 上传用户:chairsszj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通用搜索引擎存在不能有针对性地满足用户查询需求和搜索关键词难以准确描述的问题。从数据挖掘和机器学习的角度出发,提出一种基于网络爬虫开源框架Heritrix的可配置主题的聚焦爬虫方法,从指定的站源,根据不同的爬取策略,启动多线程爬取,按照预先设置的关键字和栏目信息进行分类搜索,把最符合条件和要求的信息爬取下来供选择、判断、分析和利用。这种方法可在一定程度上解决搜索引擎查询信息的需求问题,提升用户体验,提高检索效率。
其他文献
随着机构改革的不断深入推进,价格监管工作面临前所未有的挑战。特别是随着价格改革的持续深化,价格监管的内容从检查政府定价执行情况,转变为对市场经济主体在运行中价格行
2020年春季,新型冠状病毒肺炎席卷全球。在教育部统一部署下,各级各类学校在线教育全面铺开实施。文章以云南开放大学经济与管理学院线上教学为例,通过SWOT分析法,从优势、劣
从历史的维度、现实的角度和以人为本的理念出发,分析当前大学生的入党动机,通过思考大学生"政治市场化"的现状,解析大学生入党前后的思想维度变化,提出相应的对策,构建消除大
目的:探讨分析腰椎间盘突出症保守治疗和手术治疗的临床效果,为今后的临床诊疗提供参考。方法:选取治疗的腰椎间盘突出的62例患者,按其就诊时间随机分为采用保守治疗的对照组和采
支持学与教的网络学习平台能满足当前线上线下混合教学的需求,在我国各类学校中广泛应用。对网络学习平台进行评价很有必要。针对评价指标权重确定不合理的问题,在评价指标上
目的:观察和研究C型臂X线机透视下闭合复位经皮克氏针交叉内固定治疗儿童肱骨髁上骨骺损伤效果。方法:选择24例儿童肱骨髁上骨骺损伤者且在C型臂X线机透视下,给予闭合复位经皮