【摘 要】
：
在使用单个数据源进行论文数据采集的过程中,存在着数据全面性不足、数据采集速度因网站访问频率限制而受限等问题。针对这些问题,提出了一个基于多数据源的论文数据爬虫技术
【机 构】
：
北京信息科技大学智能信息处理研究所,国家经济安全预警工程北京实验室
【基金项目】
：
国家自然科学基金资助项目(61772081);科技创新服务能力建设—科研基地建设—北京实验室—国家经济安全预警工程北京实验室项目(PXM2018_014224_000010);国家重点研发计划课题(2018YFB1402901)
论文部分内容阅读
在使用单个数据源进行论文数据采集的过程中,存在着数据全面性不足、数据采集速度因网站访问频率限制而受限等问题。针对这些问题,提出了一个基于多数据源的论文数据爬虫技术。首先,以知网、万方数据、维普网、超星期刊四大中文文献服务网站为数据源,针对检索关键词完成列表页数据的爬取与解析;然后通过任务调度策略,去除各数据源之间重复的数据,同时进行任务的均衡;最后采用多线程对各数据源进行论文详情信息的抓取、解析与入库,并构建网页进行检索与展示。实验表明,在单个网页爬取与解析速度相同的情况下,该技术能够更加全面、高效地完成
其他文献
篮球运动员的运动能力不仅取决于科学的训练、优秀的身体素质,而且取决于合理的膳食营养补充,合理的膳食营养补充有助于篮球运动员充分发挥训练效果和竞技能力.本文通过研究
目的:探讨综合护理干预方法对视网膜脱离患者术前焦虑抑郁状态的干预效果.方法:从本院2018年1月~8月接受的视网膜脱离手术治疗患者中,抽取126例,采用双盲法将其按照1∶1的比
煤气自动化控制系统控制的目的是提高整个煤气生产系统的生产效率和作业指标：即在原料不变的前提下，提高系统的台时处理能力和效率；同时提高系统的稳定性、可靠性，达到设计要求。
党的十八大以来，习近平总书记站在建设生态文明、建设美丽中国的战略和全局高度，对“绿水青山就是金山银山”重要思想作出了深刻阐述。
6月6日，南乐县人大常委会党组成员申进章带队检查了马颊河水质、环保新材料研发、养殖场环保基础设施建设、污水处理等情况。检查组提出：党政部门要承担起保护环境的责任，在宣传
1病历报告患者，女，60岁。主诉：右侧面部红斑、水疱、痒痛2天。现病史：前日晚20时许，右侧面部下眼睑下及颊部出现烧灼感，昨日下午15时许，局部发红，昨晚21时左右，于红斑上逐渐出现水疱。
近些年来，随着高压输电导线在电力系统中应用越来越广泛，已成为电力系统中的不可或缺的一部分，与此同时高压输电导线也对电力系统的运行也造成了一定的影响，尤其是高压输电导线的
3-6岁儿童学习与发展指南》指出,幼儿有着与生俱来的与大自然的亲近感,幼儿到大自然中实践学习十分重要。根据这一理念,幼儿教师应该有针对性地选择幼儿园周边环境让幼儿亲近
近日，焦作市中站区人大常委会主任会议成员来到分包贫困村桑园，组织村“两委”干部、分包单位、帮扶单位、第一书记召开推进精准扶贫专题工作会。
目的 探讨乳腺癌术后抑郁症患者综合心理干预的价值.方法 收集我院乳腺癌术后抑郁症患者,分为:研究组和对照组.两组基础护理相同,研究组加用综合心理干预.对比两组护理前后抑