【摘 要】
：
随着信息化社会的不断发展,互联网上的数据越来越多,随之也产生了各种各样的搜索引擎,网络爬虫正是为搜索引擎提供数据基础的。由于大多数普通的网络爬虫在数据量巨大时都会
【机 构】
：
徐州工程学院信电工程学院,徐州海外科技人才创业基地
论文部分内容阅读
随着信息化社会的不断发展,互联网上的数据越来越多,随之也产生了各种各样的搜索引擎,网络爬虫正是为搜索引擎提供数据基础的。由于大多数普通的网络爬虫在数据量巨大时都会因为DNS解析以及url去重而消耗大量的时间,为了更好地改进爬虫的效率,让爬虫在大数据处理时依然拥有良好的性能,使用哈希链表缓存DNS并将DNS解析的效率相对于普通不做DNS优化的爬虫提高了2.5~3倍。再将MD5加密算法以及树相结合设计出一种基于MD5的url去重树,理论上使得url去重的空间复杂度相对于普通哈希表缩小60倍,而让其查重的时间复杂度接近于O(1)。最终通过实验证明了该设计的数据结构较为良好。
其他文献
<正>课堂文化是教育文化的重要组成部分,在课堂上,每个学生都在进行某种"文化活动",体验某些"文化适应",感受某种"文化熏陶"。数学教育也是文化教育,它必须关注人的"精神世界
关节软骨的解剖结构比较特殊,极易引起损伤。同时,组织修复能力较差。怎样对关节软骨缺损进行修复,这是骨科长期以来的研究热点之一。在修复领域,学者大多通过组织工程方法模
<正> 我厂专业生产各类通信、测控、电力、耐火电缆和聚氯乙烯绝缘尼龙护套线缆,工厂的产品为国防、电力、冶金、化工、邮电、电网改造、建筑行业等诸多重点工程配套服务,得
目的探讨呼吸衰竭合并慢性阻塞性肺疾病的有创与无创呼吸机序贯治疗的临床效果。方法选取本院从2010年2月~2013年2月的80例呼吸衰竭合并慢性阻塞性肺疾病患者,将这80例患者随
上海通用别克君威共有7款车型,虽然说差价仅为6.6万元,但是动力配置相当丰富,为消费者提供四款发动机车型供选择,那么究竟哪款车型更适合呢?本期将为你进行解读。
随着软件复用技术的发展,可复用的软件框架日益受到人们的重视。软件框架有助于实现领域内体系结构层次较大粒度的设计复用,已成为一个软件系统的核心。在对层次状态机基本概
本文以系统功能为框架,从人称系统出发研究美国的募捐信函的人际意义。第一人称和第二人称的灵活使用能突出其对话性。第一人称的实际指称对象发生微妙转换,可以增强劝说力和
德国是欧洲最大的广播市场,目前实行双轨广播制度。进入新媒体时代,德国广播无论是人均收听时间还是广告,都在持续增长,原因首先是德国有深厚的广播传统,其次是传播技术的进
利用改进的API线性导流仪,对支撑剂充填层气体导流能力的主要影响因素进行了实验研究。研究表明,低渗气藏压裂改造过程中,除支撑剂种类、强度、闭合压力、铺置浓度等影响裂缝
本文选用11个人口现代化指标作为人口现代化研究的指标体系,以2000年人口普查数据和2002年河南省统计年鉴为基础数据,首先作了主成分分析,得到了3个主成分,第一主成分是城市