【摘 要】
：
分析了广域网分布式Web爬虫相对于局域网爬虫的诸多优势,提出了广域网分布式Web爬虫的3个核心问题:Web划分、Agent协同和Agent部署.围绕这3个问题,对目前学术界和商业界出现
【机 构】
：
哈尔滨工业大学计算机科学与技术学院
论文部分内容阅读
分析了广域网分布式Web爬虫相对于局域网爬虫的诸多优势,提出了广域网分布式Web爬虫的3个核心问题:Web划分、Agent协同和Agent部署.围绕这3个问题,对目前学术界和商业界出现的多种实现方案和策略进行了全面的综述,深入讨论了研究中遇到的问题与挑战,并论述了广域网分布式Web爬虫的评价模型.最后,对未来的研究方向进行了总结.
其他文献
国内常压储罐的检验主要采用传统的定期检验或抽检,传统的检验未能将经济性和安全性有机地结合起来,存在着过度检验和检验不足的问题,检验的频次、程度与受检设备的风险不对
在知识经济社会的今天,人们越来越关注对人力资本的投入和发展,推进人力资本的升值,但与此同时,人力资本的贬值同样也是应该需要被人们所关注的,只有控制好人力资本的升值与
随着计算机软、硬件技术的不断进步和应用需求的日益增长,以计算机为中心的计算系统的应用范围越来越广,其复杂程度也在迅速提高,人们对如何评估和提高计算系统的可信赖性的
文章使用质的研究的实物分析的方法分析了教师关于中小学生心理健康问题的小论文 ,从论文的分析中可以了解教师对当前中小学生心理健康问题的看法。教师理解的心理健康问题用
选择2011-2016年沪深A股2158家公司面板数据,借助累计异常换手率衡量内幕交易行为,研究股权集中、机构持股与内幕交易之间的关系.结果表明:股权集中度越高,发生内幕交易的可
今年6月，Facebook上线了加密货币Libra官网，并发布了白皮书，此后，全球央行密集释放研发数字货币的信号，中国央行也不例外。$$8月10日，在第三届中国金融四十人伊春论坛上，中国人民银
清朝中叶,山西票号几乎独占全国汇兑业务,开创了晋商的鼎盛时期。晋商继承融汇了丰富的商业经营经验,形成了以信义为基础的晋商伦理文化。晋商"爱国济民、公益义行"的责任观,
研究了均苯四甲酸二酐(PMDA)-二氨基二苯醚(ODA)型线性聚酰亚胺模塑粉的制备工艺,通过扫描电子显微镜(SEM)分析、红外光谱(FT-IR)分析以及X射线衍射(XRD)分析对亚胺化方法进
纳税评估专业化、系统化的工作流程和较为科学、精细的纳税评估分析方法,对强化税源管理,降低税收风险,减少税款流失,起到了非常积极的作用。纳税评估这种评估分析方法,能合
<正> 一 东北的戏曲,自清代以后,始有长足发展。其最显著的变化是,除官府演剧活动有增无减外,民间的演剧活动日益兴盛。从这一时期开始,这里的戏曲才大规模地走向了民间。 这