【摘 要】
：
以AJAX技术为代表的Web应用新技术的出现,赋予了JavaScript更加丰富的功能。但也导致更多的URL以数据形式存在于JavaScript代码中,给网络爬虫的URL提取带来了新的挑战。为了
【机 构】
：
国防科学技术大学电子科学与工程学院
论文部分内容阅读
以AJAX技术为代表的Web应用新技术的出现,赋予了JavaScript更加丰富的功能。但也导致更多的URL以数据形式存在于JavaScript代码中,给网络爬虫的URL提取带来了新的挑战。为了解决这一问题,在此提出了一种基于WebKit的网络爬虫,以WebKit作为爬虫的前端来解析并执行JavaScript。一是实现JavaScript对网页DOM的修改,从而将存在于此类代码中的URL转换成HTML形式并以静态分析方法来提取;二是定位JavaScript页面导航的代码并且劫持输入导航方法及对象的变量以提取变量中的URL。这充分降低了客户端脚本给爬虫带来的障碍,从而更好地提取网页中的URL。
其他文献
雅思写作,一直被众多中国考生认为是雅思考试中的噩梦。有很多同学阅读听力能够拿到8分甚至满分,而写作却只能在5到6分之间徘徊。更有同学考了很多次雅思之后,写作分数不升反
本期人物:卡洛斯·戈恩(Carlos Ghosn),法国雷诺汽车公司(Renault)和日本日产汽车公司(Nissan)CEO,出生于巴西的黎巴嫩后裔,具有黎巴嫩、法国、巴西、北美的多元生活背景。他
<正>美国高度重视教育立法和严格执法,十分强调用教育法制来规范办学机构的办学行为。美国非学历教育培训门类繁多,层次各异,培训主体多元。美国非学历教育培训市场的成熟、
治疗骨质增生性足跟痛验方天津市中医医院（３００１４０）王作顺关键词足跟痛外治法验方１药物组成：食醋，石灰中心石（生石灰熟制后所剩的石块）。２用法：将石灰中心石碎成小块，放入盆中，加入食醋，使后块完
煤炭的井下开采需要掘进大量巷道,目前主要采用钻眼爆破法和掘进机掘进的方法。文章介绍了影响我国煤矿井下掘进技术的因素以及掘进时采用的支护方式,对提高煤矿掘进技术的效
为了达到缩短漏感变压器设计周期,节约设计成本的目的,采用有限元仿真方法,利用场路耦合的方式,首次对漏感变压器做了的二维仿真,获得了变压器在空载情况下的次级电压、铁芯
MUSIC算法是一种属于特征结构的子空间超分辨方法,该算法性能优良,但需要估计协方差矩阵并对其进行特征分解,运算量大,很费计算时间。本文对波达方向估计问题进行了研究并提
痛风是由于嘌呤代谢紊乱所引起的一组异质性疾病。根据该病以关节红、肿、热、痛反复发作，关节活动不灵活等主要表现，属于中医学“热痹”、“风湿热痹”范畴。西医对痛风的治疗
中国当代水墨分为三个阶段：失落的传统水墨、传统中的前卫和前卫中的传统—尴尬的现代水墨及日益走向开放和多元的当代水墨。失落的传统水墨不仅仅使水墨艺术日益边缘化，更
2008年4月7日,美国心脏协会(AHA)首次公布了顽固性高血压的诊治建议,并由《Hypertension》杂志在线发表。主要内容包括顽固性高血压的定义、流行病学、临床特征、病因学、推