支持Ajax的Deep Web爬虫设计与实现

被引量 : 0次 | 上传用户:poloyzhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅速发展,网络资源越来越丰富,人们如何从网络上抽取信息也变得至关重要,尤其是深层网络(Deep Web)信息获取更是人们应关注的焦点。Deep Web是指虽然通过互联网可以获取,但普通搜索引擎由于受技术限制而不能或不作索引的信息。为了构建更为动态和响应更灵敏的Web应用程序,实现浏览器和服务器的异步并行处理,Ajax应运而生。如今Ajax技术得到了广泛的应用,毋庸置疑,Ajax能够很好地提升网络应用的响应和交互性,但与此同时由于Ajax的一些特性,比如客户端脚本执行、状态改变、动态呈现模型及可点击元素多样化等,Ajax无形中也增加了Deep Web中的信息。本文设计并实现了支持Ajax的Deep Web爬虫。该爬虫能识别DOM树中的可点击元素,运行客户端代码,形成一个状态流图,以呈现Ajax应用中各个状态及导航路径;根据该状态流图,本爬虫能够生成相对于原Ajax应用的一个多页面的静态版本以及Sitemap。本文旨在将Ajax网站动态生成的部分暴露给搜索引擎,提升搜索的覆盖率和准确率。实验表明,支持Ajax的Deep Web爬虫与开源的JSpider相比,前者可以获取更多的链接数,在两次实验中,前者抓取的数量分别是后者的1.12倍和2.93倍。
其他文献
目的:研究立体定向放疗治疗胰腺癌的疗效。方法:将2013年5月~2014年4月期间在我院确诊为晚期胰腺癌的40例患者纳入研究,随机分为两组,观察组患者接受立体定向放疗、对照组患
异步电动机(本文中简称为异步电机)是目前应用最为广泛的动力设备,与其他电动机比较,它结构简单、运行可靠、成本较低且坚固耐用。随着矢量控制和直接转矩控制方法的逐渐成熟
水利工程作为一项兴国利民的重大措施,工程质量高低直接影响到广大人民的正常生活和根本利益,从水利企业职工的思想政治抓起有利于推动水利工程的高质量建设。本文通过对数家
进度管理是项目管理的重要一环,对于房地产业来说项目进度决定了项目完成所需成本、资源及企业形象等一系列问题。目前房地产企业的进度管理普遍采用传统方法,缺乏科学合理的
随着汽车工业迅猛发展,机油冷却器作为对发动机润滑用机油进行冷却的装置,它的质量稳定性和可靠性直接影响发动机的性能。目前对机油冷却器质量检测的关键工序就是对气密性进
和谐是人类社会发展的内在要求,建立和谐医患关系是建构社会主义和谐社会的重要内容之一。什么是和谐的医患关系,在新的历史时期建立和谐医患关系面临哪些现实困境,如何建立
<正>1861—1865年的南北战争(即美国内战)是美国历史上的第二次资产阶级革命,它维护了国家统一,彻底埋葬了黑人奴隶制,为美国经济的高速发展创造了有利条件。那么,作为美国历
目的:观察中西医结合治疗结节性红斑患者临床疗效观察及对血清丙种球蛋白、血沉的影响。方法:97例结节性红斑患者按照随机数字表法随机分为对照组(n=48)和治疗组(n=49)。对照
文章分析了劣质燃油的特点,并指出在船舶柴油机使用中所带来的影响。在此基础上给出一些措施,以保证在燃用劣质燃油的过程中存利去弊。
苏宁电器在过去十几年的高速发展过程中,利用自己在产业链条中的优势地位,通过建立强大优秀的商业模型,向商业伙伴进行大规模融资。伙伴融资是苏宁的主要资本来源,它为苏宁的