爬行技术相关论文
随着Internet的飞速发展,Web的信息量越来越大,通用搜索引擎在信息采集、存储等方面面临更大的挑战。此外,由于通用搜索引擎面向所......
现今通用搜索引擎仅能收录Web上通过链接可以爬行到的页面部分。然而对于大量的深度网资源,由于搜索引擎的爬虫无法通过链接爬行到......
设计了一种eDonkey网络爬行系统。该系统能避免被中心服务器的自动保护机制添加进黑名单,且能突破返回结果数量限制。通过对爬行获......