【摘 要】
：
网络爬虫技术经过多年的发展,传统的应用和分析相对成熟,但是随着大数据、移动互联网时代的到来,在大规模、海量异构、隐蔽信息的实时快速采集和获取方面,仍然存在诸多的困难
【机 构】
：
上海计算机软件技术开发中心,上海民航华东凯亚系统集成有限公司,上海华虹宏力半导体制造有限公司
【基金项目】
：
张江专项发展资金（201501-PD-LJZ-C104-004）.
论文部分内容阅读
网络爬虫技术经过多年的发展,传统的应用和分析相对成熟,但是随着大数据、移动互联网时代的到来,在大规模、海量异构、隐蔽信息的实时快速采集和获取方面,仍然存在诸多的困难。本文对网络爬虫的技术原理进行分析,开发了基于NCrawler的网络爬虫软件并进行应用,可依据关键词灵活在网页深度、广度搜索两种搜索策略中调整权重,具有广泛的扩展能力,支持各种类型及格式资源的爬取。最后本文对网络爬虫技术的应用领域和趋势进行了分析和展望。
其他文献
小学数学是小学教育中一门十分重要的学科,其可以开发小学生的智力,能让小学生抽象和逻辑的思维能力得到有效培养,同时对小学生问题解决能力的培养,也有着非常重要的作用。因
那天,在吃完一顿黄焖鸡打着嗝第二天醒来感受到来自上唇火烧火燎的灼痛后,我意识到我该补充维生素C了。来到超市,看了一眼五块八一斤的苹果我立马转身进了药店。果然直接吃维
2007年9月8日，行业权威北京电力行业协会与德国威图公司强强联手在北京赛特饭店隆重举行了威图新产品Ri4Power配电组件——创新的电力行业解决方案研讨会，这个由专业协会联合举
1998年4月10日，是一个特殊而富有意义的日子。这一天晚上河北经济电视台21点30分，第一期《绿色家园》栏目悄然播出。从此3650多个日日夜夜，520多期精彩节目，近2000多部环保专题片
瑞典HMS工业网络有限公司进一步扩展Anybus-IC系列产品，新增PROFINET IO接口模块。该产品是款体积小巧且功能强大的单芯片PROFINETIO接口模块，并经过了Profibus用户组织的一致
我省保奥运保稳定限期办结重信重访重点环境案件成效显著，53例进京访、重复访、集体访案件全部得到了有效排查化解。
推进节能减排，必须实行节约、集约、循环、生态保护并举。一是搞好资源能源节约和综合利用。加快建设科学合理的能源资源利用体系，不断提高利用效率和保障能力。二是推进产业集
今年上半年全省总体环境质量明显好转，多数环保指标比去年同期改善一成以上。其中，人们观感最明显的城市空气质量，全省Ⅱ级及以上平均天数达到157天，比去年同期增加12．1％，而表征空气
1月19日晚，“2006年度燕赵环保人物评选”活动颁奖典礼在河北电视台演播厅隆重举行。其中孔媛媛、商鹤羽、赵鸿、靳广恩、柳宝诚荣获“年度奖”；王惠远、邢士林、孟德荣、史子
2007年6月1日，全球HMI的领导厂商——Pro-face今天宣布在中国南方城市深圳增设新的办事机构．正式成立深圳分公司。此举是Pro-face继广州分公司建立以来，进一步扩展华南区域的业