Igloo分布式爬虫系统的性能优化

来源 :全国搜索引擎和网上信息挖掘学术讨论会 | 被引量 : 0次 | 上传用户：ggfjkjtyr

【摘要】

：

Web爬虫是搜索引擎和Web信息检索系统的重要基础.本文介绍了一个大型分布式爬虫系统Igloo 1.2版所采用的性能优化措施.它采用分布式的系统结构,通过有效的性能优化方法,如高

【作者】

：

叶允明马范援于水张岭

【机构】

：

上海交通大学计算机科学与工程系(上海)

【出处】

：

全国搜索引擎和网上信息挖掘学术讨论会

【发表日期】

：

2003年3期

【关键词】

：

Web爬虫互联网分布式系统搜索引擎数据库存取

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

Web爬虫是搜索引擎和Web信息检索系统的重要基础.本文介绍了一个大型分布式爬虫系统Igloo 1.2版所采用的性能优化措施.它采用分布式的系统结构,通过有效的性能优化方法,如高速通信与优雅爬行的折中、URL Trie快速数据结构和基于"滞后合并"策略的URL数据库存取算法等,使系统能进行高性能的爬行,同时又不影响Web服务器和网络的正常运行.实验表明,Igloo具有高性能和稳定的特点.

其他文献

南京市纬八路西延工程软土地基排水固结沉降特性

本文采用理论计算和实际监测的方法,对南京市纬八路西延工程的软土路基在堆载预压过程中的沉降特性进行分析,得出用塑料板排水法加固该软土路基的沉降特性.由于工程位于南京

会议

道路工程软土地基排水固结法沉降特性塑料排水板

混凝土孔隙分析中的表征参数

在混凝土配合比中固定用水量不变，取四个不同的水胶比：０．３０、０．３３、０．３６及０．３９，三种胶凝材料搭配：水泥、７０℅水泥＋３０℅矿渣、及７０℅水泥＋３０℅粉煤灰，成型后水中养护３０ｄ或７０ｄ进行压汞试验。试验及分析结果表明，孔级分

会议

混凝土孔隙结构压汞试验临界孔径

塑料排水板在天津港口建设中的研究和应用

本文主要论述的是塑料排水板在港口建设中的研究应用和发展情况,重点介绍了塑料排水板真空预压加固软基的几个技术参数的选取,简要地介绍了天津港工程建设中几个典型实例的加

会议

塑料排水板真空预压法排水固结港口建设地基处理

高性能钢纤维增强水泥基复合材料性能及抗侵彻与爆破能力

该文采用ＳＩＦＣＯＮ技术，用四种不同形貌的钢纤维，分别配制了纤维体积率Ｖ〈，ｆ〉为４℅－１０℅的高性能钢纤维增强水泥基复合材料（ＨＰＳＥＲＣＣ）。随纤维体积率的提高，ＨＰＳＦＲＣＣ的强度、韧性和弯压比明显提高。并定量比较了ＨＰＳＦＲＣＣ（Ｖ〈

会议

高性能复合材料弯压比侵彻爆破钢纤维水泥基

CDI_DCS系统在双马1500td 工程中的应用

成都建筑材料工业设计研究院电气自动化所拥有一大批优秀的专业技术人员,他们不仅具有良好的专业理论基础和熟练运用英语、计算机等工具的能力,而且具有丰富的工业自动化设备

会议

CDI_DCS系统软件编程DCS系统

施耐德DCS控制系统的应用与展望

　　DCS集散型控制系统是新型干法水泥生产线的神经中枢,对生产工艺过程自动化控制、机械、电气设备的安全运行起着关键性的控制和管理作用.本文对施耐德DCS控制系统,从网络

会议

DCS系统施耐德水泥生产干法水泥生产线

ECS-100集散控制系统在水泥行业中的应用

　　本文首先介绍了集散控制系统在国内水泥行业的应用情况,阐述了现代水泥工业工艺特点并由此提出了DCS水泥设计方案,其中着重介绍了国产ECS-100集散控制系统的结构特点及在

会议

集散控制系统ECS-100水泥生产水泥行业

水泥生产中变频器产生干扰及PLC防干扰问题

　　变频器和PLC在水泥生产中应用广泛,变频设备采用PLC控制的范例也很多.变频器既受现场的供电和用电设备的干扰,更会对其它设备产生干扰.文中介绍了水泥生产过程中变频器产

会议

变频器谐波电磁辐射PLC滤波屏蔽接地水泥生产

水泥生产过程自动化解决方案

　　本文针对水泥厂新型干法生产工艺的要求和特点,设计了一套基于集散控制系统的水泥生产过程自动化整体解决方案,整个系统包括生料制备系统、窑尾控制系统、窑头煤磨控制系

会议

水泥生产新型干法集散控制系统水泥厂

在线脉冲袋式收尘器的控制

　　本文通过实现优化控制、提供完善的保护和充足的信息,可以使在线脉冲袋式收尘器更加安全高效运行,充分发挥收尘作用,保证收尘器达到并超越设计指标.

会议

收尘器脉冲电磁阀优化控制

Igloo分布式爬虫系统的性能优化

与本文相关的学术论文