论文部分内容阅读
网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题，但是目前对这个方面的研究较少，本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略．通过对不同站点下栽速度的建模分析和基于礼貌爬行的访问频率控制，得到了面向站点的爬行控制算法，最后实验证明这种方法能够充分利用所限定的带宽。
一种新的网络爬虫带宽控制策略
【摘 要】
：
网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题，但是目前对这个方面的研究较少，本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略．通过对不同站点下栽
【机 构】
：
哈尔滨工业大学深圳研究生院
【出 处】
：
微计算机信息
【发表日期】
：
2008年33期
其他文献
在分析了现有的疲劳检测方法及装置存在的不足后，设计开发了一种低成本基于视觉的汽车驾驶员疲劳检测装置，当该装置检测到驾驶员疲劳时给与警示。本文提出保留有效信息的同时减
本文提出了一个在工作流管理系统中优化选择web服务的框架。本框架通过一个discovery service发现语义相同的web服务，使用optimization service利用在数据库中记录web服务运行
随着嵌入式系统的发展．使用Linux操作系统搭建的嵌入式平台得到了越来越广泛的应用。文件系统是嵌入式Linux系统的重要组成部分．一个合适的文件系统解决方案可以极大的提高系统
本文设计了一种基于ARM9处理器的嵌入式防火墙网卡。在硬件上选择了带有AT91RM9200处理器的开发板FS9200，改善了嵌入式网卡硬件的实现环境；在软件上移植了嵌入式Linux操作系统，
Robocup中型足球机器人对图像处理的实时性要求较高。在RoboCup中型组比赛中，通常采用CMVision对图像进行处理，其存在一定的缺陷，如：耗费大量计算机资源，不能处理光线的干扰等。本
本文设计了一种基于便携式射频卡记录仪。首先从射频识别技术出发，分析了射频识别的工作原理和技术标准；然后结合嵌入式硬件和软件详细阐述了系统的设计，对数字接口和天线进行了
文章详细介绍了压力机群控系统的实现,主要任务包括了上位机监控软件的开发、硬件电路的设计和下位机的编程。系统上位机采用c++Builder6.0来进行监控程序的开发,压力机群整个网络采用RS-485的通信方式进行数据通信,控制板处理器选用集成了A/D和D/A的高性能增强型MCU—aduc841,并充分的考虑了电磁干扰与可靠性问题,同时下位机控制程序嵌入了嵌入式实时操作系统uC/OS-Ⅱ,以提高系统的
本文设计了基于printer对象的报表控件。利用丰富的Microsoft win API函数和VB程序语言，实现了控件的用户数据接口、报表设计控件、报表预览控件，以及基于printer对象的完整报
随着网格应用复杂性的不断增加，需要将多个网格服务编排成为一个网格服务工作流模型，然后由工作流引擎执行对网格服务的调用。为此．我们设计并实现了一个基于BPEL的网格服务工作
在工业实际应用中，锅炉汽包水位在系统动态特性发生较大变化并且受到各种干扰因素影响时．模型的参数将发生变化，成为一个不确定系统。基于此种情况，本文应用定量反馈理论（QFT），提出