【摘 要】
：
随着互联网技术的飞速发展,互联网信息和资源呈指数级爆炸式增长。如何快速有效的从海量的网页信息中获取有价值的信息,用于搜索引擎和科学研究,是一个关键且重要的基础工程
【机 构】
：
南京航空航天大学金城学院信息工程系
【基金项目】
：
湖北省自然科学基金资助项目“面向数字取证的数据约简技术研究”(2015CFB764)
论文部分内容阅读
随着互联网技术的飞速发展,互联网信息和资源呈指数级爆炸式增长。如何快速有效的从海量的网页信息中获取有价值的信息,用于搜索引擎和科学研究,是一个关键且重要的基础工程。分布式网络爬虫较集中式网络爬虫具有明显的速度与规模优势,能够很好的适应数据的大规模增长,提供高效、快速、稳定的Web数据爬取。本文采用Redis设计实现了一个主从式分布式网络爬虫系统,用于快速、稳定、可拓展地爬取海量的Web资源。系统实现了分布式爬虫的核心框架,可以完成绝大多数Web内容的爬取,并且节点易于拓展,爬取内容可以定制,主从结构使得系
其他文献
采用室内海水浸泡试验、电偶试验等方法研究了6061铝合金微弧氧化层厚度和封孔处理对其耐海水腐蚀性能的影响。试验发现,微弧氧化后,铝合金在海水中的腐蚀形貌为点蚀,封孔处
以太原重工股份有限公司、中车永济电机有限公司、山西航天清华装备有限责任公司为例,详细分析了山西省重点装备制造业失效专利的类型及原因,提出了促进山西装备制造业知识产
环境行政合同是环境资源法学研究中的一个全新领域，无论理论研究如何，各国在解决环境问题的过程中都自觉不自觉的运用了环境行政合同，本文正是以实践为切入点、以行政合同的理论
本文主要介绍通过实验手段研究过硫酸钠(Na_2S_2O_4)制备过程中副反应速率——过硫酸钠与氨在碱性条件下的反应速率。在取得实验数据的基础上,经过数学处理和计算机非线性回
<正>构建中美新型大国关系是一个创造性构想,如能付诸实现,将为当今世界的和平与发展提供最为坚实的保障,也将对未来国际关系走向提供不同于既往的典范。同时,构建中美新型大
“世上最了解你的，也许不是家人，而是弹窗广告。”社交网络上，一位网友这样说道。如今，当你打开一些网站，扑面而来的弹窗广告似乎总能击中你的内心：刚搜索了一件衬衫，就能弹出服装店
<正>现代药学研究表明,黄芪含有多种有效成分,主要有黄芪多糖A、B、C、D和25种氨基酸,黄芪皂苷甲、乙、丙,黄酮类,生物碱,蛋白质,维生素,及硒、硅、钴、钼等微量元素,相应的
阐述了导致隧道出现渗漏水的原因,分析了隧道防排水设计中存在的具体问题,并着重探讨了高速铁路隧道防排水设计的完善措施,对保证隧道工程的防排水设计质量有重要意义。
小组合作是新课改以来被广泛应用的一种新的教学方式,本文以语文教学为例探讨了语文课堂教学中的小组合作与竞争等相关策略。
在企业越来越多地走向国际市场且竞争越来越激烈的形势下,创新对于企业绩效的提升愈发重要。通过对目前国内外相关文献的查询和阅读,发现关于企业开放式创新度与企业绩效相关