【摘 要】
：
主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的
论文部分内容阅读
主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。
其他文献
调幅电路是调幅发射机的核心电路，在简要介绍调幅信号产生原理和调幅实现方法的基础上，利用Muldsim10．0仿真软件对低、高电平调幅电路进行构建和调制波形进行仿真。电路仿真结果
非物质文化遗产是民间流传下来的文化瑰宝,是中国现代艺术创作的资源宝藏。通过将传统艺术与艺术欣赏教学结合起来,能使传统艺术得到传承和发展,改变传统的艺术教学理念,革新
目的对在新生儿肺炎护理中应用人性化护理干预的效果进行分析探讨。方法将本院2013年-2014年收治的新生儿肺炎患儿共计100例作为研究资料,将患者随机分为治疗组与对照组,每组
本文以冷轧UCM轧机FGC断带和末机架轧辊粗糙度均匀性为研究对象,通过实践与理论分析完成冷轧UCM轧机生产稳定性的相关研究。针对酸轧FGC断带,主要通过对电气二级程序中FGC过
该文分析现代简约风格的家装特点和现状,阐述了现代简约风格室内设计选题的意义。
随着增强现实技术和基于位置服务（LBS）技术的发展，增强现实的应用也越来越广泛，LBS是增强现实的一个重要应用，用户位置隐私的泄漏是LBS用户的重要威胁，因此对用户位置隐私的管理就
舰船空压机的额定排量与充瓶排量有一定的差别,如何准确计算充瓶排量是一个急需解决的问题.根据舰船空压机充瓶特点,提出了一个简单的计算模型,通过这个模型能准确地计算舰船
中国共产党青年观是中国共产党有关青年的总的认识与看法,包含青年的本质、青年的地位、青年的教育三个主要方面。中国传统文化中有关青年的思想认识内容给予了它独特的思想
人力资源管理过程中,绩效考核是一项重要的环节,对人力资源管理的效果有着重要的影响。当前,我国事业单位绩效考核过程中,缺乏完善的考核体系,无法进行科学有效的管理。基于
论文结合国家自然科学基金项目《半主动动力吸振镗杆的非线性动力学与控制》(项目编号:11172184),通过MATLAB对二自由度镗杆非线性系统进行动力学理论分析及其参数优化,利用M