Web划分相关论文
针对广域网环境下分布式Web爬虫的Agent协同和Web划分两个核心问题进行深入研究,提出了基于顾问服务的分布式Web爬虫系统模型,给出了......
提出一种可部署于单一网域及多网域间的分布式爬虫DSpider。DSpider能够通过调整节点规模和连接超时阈值,有效部署于LAN和WAN两种......
由于Web的地域分布式特性以及网络基础条件等方面的限制,随着Web的迅速膨胀,目前的搜索引擎由于其集中式的结构遇到覆盖率和更新率......