基于云平台网络爬虫的互联网信息采集系统研究

被引量 : 1次 | 上传用户:hxs038
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着当今信息量日益剧增的趋势,一系列技术都迅速的涌现,云计算就是其中一个,而且已经成为目前的一个主流研究方向,成为未来一个重要的发展趋势。在这个大环境下很多大型公司也都加入了云计算的研究开发中,如:Google、IBM和Amazon等,应用的领域也越来越广泛。为了便于学习和研究,实验室也对云计算制定了研究计划,搭建自己的“云平台”,来对不同的应用开发进行研究和实验。该“云平台”主要是建立在Hadoop基础上,Hadoop是Apache开发的开源的云计算框架,方便而成熟,本文中就是利用Hadoop进行云平台的搭建。本文的主要研究工作是设计一款面向新闻类网页的,基于云平台网络爬虫的互联网信息采集系统。该系统是在Hadoop分布式平台的基础上实现的,主要部分为信息采集模块和信息抽取模块。在信息采集部分设计并实现了一个基于云平台的网络爬虫,在该爬虫的内部对其子模块进行MapReduce设计;在信息抽取部分采用的是较易理解的基于HTML结构解析的信息抽取方式实现。在本文的设计过程中包含几大主要技术:云计算、Hadoop平台、网络爬虫以及网页信息抽取。本文按照设计顺序对以上技术进行了介绍。云计算部分主要介绍其背景、当前主流云平台、自身特点等。对于Hadoop平台主要是对其两个核心——HDFS和Map/Reduce内容进行研究。对已经比较成熟的网络爬虫技术以及信息抽取技术的核心理论也进行了简要说明。本文的意义在于理论结合实际,将云计算理论应用于实际的项目开发中,实现了一个基于云平台网络爬虫的互联网信息采集系统,解决了现有系统的诸多不足,例如:性价比较低、可扩展性较差、效率较低等问题。实现了一个具备简单灵活性、安全可靠性、可扩展性的信息采集系统。
其他文献
目的: 观察电针督脉经穴为主对拟血管性痴呆大鼠学习与记忆能力的改善作用,探讨其发生机理,寻找腧穴之间的协同或拮抗作用.方法:四血管阻断(4VO)法造模.以电针督脉经穴为主,
自上世纪90年代以来,随着国民经济和现代社会的快速发展,人民生活生活水平和消费理念有着快速地发展,加之现代房地产业的迅猛发展,商用中央空调行业作为一个新兴的产业快速崛
随着人们生活节奏的加快,生活水平的提高和饮食结构的变化,人们对食品的需求有了明显的变化.减轻家务劳动,日常食用些既美味又营养的食品.在讲究高效的今天,已成为普遍现象.
糖尿病肾病是糖尿病发展过程中出现的常见而难治的并发症之一。糖尿病肾病的主要病理特征是足细胞损伤、肾小球基底膜增厚、肾小球系膜细胞肥大并大量表达细胞外基质蛋白,这
受城市经济发展迅速的影响,大量农民工从农村进入城市。农民工虽然在城市工作、生活,他们却不能和城市居民享有同等的社会福利制度、公共服务、发展机会,不能真正融入城市社会。
目的:通过对比分析后腹腔镜与开放手术治疗各类肾上腺肿瘤的临床指标,评价后腹腔镜手术治疗各类肾上腺肿瘤的临床应用价值,并进一步探讨后腹腔镜手术治疗较大肾上腺肿瘤、嗜铬
随着知识经济时代的到来,经济形势和社会环境均发生了根本性的变化,知识逐渐成为了决定企业生存和发展最重要的因素。而人作为知识的掌握者和驾驭者,往往直接影响和决定着企
上世纪末,我国食品加工业开始兴起,经过十几年的快速发展,我国成为世界罐头生产的主要基地。我国的果蔬罐头的生产方式主要是定点加工方式,产品链条单一,附加值很低,市场定位
全球经济一体化,企业专业和专注程度的提高,生产分工已非常明确。企业竞争模式已从单个企业的生产-供应-销售的模式转化为不同企业间的专业化和专注化分工的模式,但是专业和
欧盟是目前世界上最大的经济体,拥有庞大的消费市场,而且在很多行业都具备世界一流的技术和人才。自1975年中国与欧共体建交以来,中欧经贸关系迅猛发展。2008年中欧货物贸易