新型分布式Web Spider的设计

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:yidingtongguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对日益突出的网页访问问题,设计了一种新型分布式WebSpider。该分布式WebSpider采用中央控制节点来协调各个webspider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问webserver的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入webspider节点和子中央控制节点,具有很强的灵活性和扩张能力。实验结果表明该分布式WebSpider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能。
其他文献
随着多媒体流技术的快速发展,网络中的流量呈爆炸式的增长,UDP流所占的比例越来越大,具有TCP友好性的网络流量均衡是保证网络高效和稳定的重要措施。引入排队理论,采用分析的方法
对金字塔复方向滤波器组和贝叶斯最大后验估计理论架构下的双变量模型进行研究的基础上,结合二者的优点,提出一种新的图像去噪算法。PDTDFB(Pyramidal Dual-Tree Directional Filter Bank)变换具有近似时移不变性、多尺度、多方向选择性好的特点;双变量模型充分突出图像分解后系数的尺度内和尺度间的双重相关性;对噪声估计方法做出了详细阐述。仿真实验表明,与已有的多尺度
一、概述现代科学日新月异,生产的规模越来越大.维持生产必需的各种设备、装置和机械日益向大型化、高速化、连续化、复杂化的方向发展。如大型化肥厂中大机组转速已超过1.5
在当下中国现当代文学教学面临诸多困扰的情况下,教学方法的改革势在必行。针对学生不读文学作品的现象,要大胆引入影视文化资源和开辟第二课堂,激发学生阅读中国现当代文学
一、前言在普通过磷酸钙(下称普钙)生产中,普钙中硫酸根分析方法有:EDTA1法、联苯胺法、铬酸钡容量法、硫酸钡重量法等。前三种方法只适用于低酸根的分析,对普钙中35—40%高
瓮福磷矿是我国储量大、质量好、易于开采的海相沉积岩特大型矿山,总储量达 X 亿吨之多。瓮福矿自下而上分为 a、b 两层,b 层为具有工业价值的矿层,平均品位(PzO<sub>5</sub>)
应用于农药和其它有机合成的聚合反应中的硫代乙醇酸制备方法改进的有关说明。硫代乙醇酸已知的制备方法是,用苛性钠或氢氧化铵与氯乙酸水溶液,同硫化氢在140℃以下,于高压釜
复合肥料的生产是化肥生产的趋势,世界上发达国家的复肥产量已达70%,而我国不足1%,复肥产品中磷铵是最主要和最受欢迎的品种,国外磷铵的生产一般都采用传统的“磷酸浓缩法”工
为了进一步落实省化工厅今年“贯彻整治方针,全面深化改革,突出发展化肥,强化企业管理,努力提高经济效益”的工作方针,省厅于四月底在遵义碱厂召开了企业管理工作会议,通报了
江西朝阳磷矿年产20kt 硫酸装置由贵州省化工设计院承担设计,采用该院开发的硫酸生产水洗封闭净化新工艺。工程于1988年3月开工建设,1990年4月全部竣工,设计概算为588.46万元